2302_77459984的博客

使用别人的代码，原作者特别nice，环境的包以及调用的模型都给出来了，但因为都放在python工作目录下，不太方便建成conda环境，所以需要用python自带的virtualenv虚拟环境。virtualenv -p 创建完了之后，会有一个activate的文件，可以在目录\env\Scripts文件夹里面查找（可能不是第一个文件，往下翻翻就找到了）2. 使用virtualenv命令创建环境、激活环境、安装包、运行代码。这个不需要特别操作，检查有就行。3. 操作样例，可对照使用。

主要记录一些排版过程中遇到的问题，elsevier模板。

（1）修改pachong文件里面的 start_urls 网址（2）修改items文件里面的需要爬取的指标名称 XX = scrapy.Field()（3）修改xpath路径 li_list 和 item["XX"]基础爬虫代码 ↓。

文件在"D:\爬虫学习\爬虫request"环境名是“fenghuang”

（其他一些乱七八糟，呜呜呜呜 总感觉自己拖了好久才搞完，而且因为耍小聪明不主动问老师还有搞错的地方，真的很愧疚自责，呜呜呜呜 虽然知道已经结束了，而且老师也说莫得关系，但就是内耗跟自己过不去）记录一下来提醒自己，一定不要害怕主动去问自己不了解的东西，就算被觉得是菜鸡也没关系，起码是对自己和对工作的负责，希望自己下次可以更加自如！作者真的很细致，然后一点点小小的提醒，大家如果是给老师做，有什么拿不准的问题一定要跟老师确认！但我实操中，只要后面四个都选对了就可以了。② tex文件的文件名，没有空格！

② 获取的文件名数字部分，要和Excel中读取的数据格式保持一致，比如都是字符串，要不然没有办法识别！① 使用正则表达式匹配文件名时，一定要注意文件的后缀也算在文件名里面，如缺少.mp4则不能实现匹配！1. 应用：因为下载视频的时候编号错误，所以尝试通过Excel数字对应，批量改文件名的数字部分。③ 获取匹配到的 id1 对应的 id2，并替换文件名称中的数字部分。② 将文件夹中的文件名称中的数字部分与 id 列的数据进行匹配。① 从 Excel 文件中读取 id1列和 id2 列的数据。

使用正则表达式匹配文件名时，一定要注意文件的后缀也算在文件名里面，如缺少.mp4则不能实现匹配！1. 应用场景：目前一文件夹内文件名称为“数字_video”，想把它批量改为仅“数字”格式的命名。因为下载视频的时候编号错误，所以尝试通过Excel数字对应，批量改文件名的数字部分，写在下一篇。② 使用正则表达式表达文件名，并将其分为不同的部分。③ 用想要的部分命名新的文件。3. 需要特别注意的。

打开想要爬虫的网页——打开开发者界面——选择网络——选择全部——选择第一个链接点击进入——下滑到最后找到User-Agent。② 新建pycharm项目，记得文件位置选择“爬虫练习”，勾选无需main文件。常规pip一般下载不下来，可以采用 ↓ ，或者其他网上教程的安装方法。①目前只是一个针对简单页面爬虫的demo，不能翻页，不能模拟下滑。① 找到新建的项目，一般为爬虫名称.py，然后开始编辑。① 新建工作文件夹，此处在D盘新建“爬虫练习”② 在settings里面设置”浏览器标识“④ 安装scrapy。

比对获取的Excel和原始Excel，获取下载缺失值。把文件夹中所有文件名汇总到一个Excel中。

输出关键帧图片（每个视频对应一个文件夹，里面存储关键帧图片，后续要搞一下命名方面研究）输入视频（目前视频还是要下载成mp4格式，后续看看能不能直接用链接做）

内容：通过视频的真实链接，批量下载并命名为特定序号。