- 博客(10)
- 收藏
- 关注
原创 根据项目修改爬虫代码,以及爬虫进阶(翻页、深度获取、保存)
(1)修改pachong文件里面的 start_urls 网址(2)修改items文件里面的需要爬取的指标名称 XX = scrapy.Field()(3)修改xpath路径 li_list 和 item["XX"]基础爬虫代码 ↓。
2024-04-05 15:39:29 123 1
原创 elsevier 爱思唯尔,Editorial Manager 投稿,总结参考文献无法引用问题
(其他一些乱七八糟,呜呜呜呜 总感觉自己拖了好久才搞完,而且因为耍小聪明不主动问老师还有搞错的地方,真的很愧疚自责,呜呜呜呜 虽然知道已经结束了,而且老师也说莫得关系,但就是内耗跟自己过不去)记录一下来提醒自己,一定不要害怕主动去问自己不了解的东西,就算被觉得是菜鸡也没关系,起码是对自己和对工作的负责,希望自己下次可以更加自如!作者真的很细致,然后一点点小小的提醒,大家如果是给老师做,有什么拿不准的问题一定要跟老师确认!但我实操中,只要后面四个都选对了就可以了。② tex文件的文件名,没有空格!
2024-03-25 01:00:25 369
原创 批量处理文件名-替换某一部分
② 获取的文件名数字部分,要和Excel中读取的数据格式保持一致,比如都是字符串,要不然没有办法识别!① 使用正则表达式匹配文件名时,一定要注意文件的后缀也算在文件名里面,如缺少.mp4则不能实现匹配!1. 应用:因为下载视频的时候编号错误,所以尝试通过Excel数字对应,批量改文件名的数字部分。③ 获取匹配到的 id1 对应的 id2,并替换文件名称中的数字部分。② 将文件夹中的文件名称中的数字部分与 id 列的数据进行匹配。① 从 Excel 文件中读取 id1列和 id2 列的数据。
2024-02-28 23:43:05 320 1
原创 批量整理文件名格式-删除某一部分
使用正则表达式匹配文件名时,一定要注意文件的后缀也算在文件名里面,如缺少.mp4则不能实现匹配!1. 应用场景:目前一文件夹内文件名称为“数字_video”,想把它批量改为仅“数字”格式的命名。因为下载视频的时候编号错误,所以尝试通过Excel数字对应,批量改文件名的数字部分,写在下一篇。② 使用正则表达式表达文件名,并将其分为不同的部分。③ 用想要的部分命名新的文件。3. 需要特别注意的。
2024-02-28 23:34:36 321 1
原创 爬虫练习-scrapy基础操作(详细流程注释)
打开想要爬虫的网页——打开开发者界面——选择网络——选择全部——选择第一个链接点击进入——下滑到最后找到User-Agent。② 新建pycharm项目,记得文件位置选择“爬虫练习”,勾选无需main文件。常规pip一般下载不下来,可以采用 ↓ ,或者其他网上教程的安装方法。①目前只是一个针对简单页面爬虫的demo,不能翻页,不能模拟下滑。① 找到新建的项目,一般为爬虫名称.py,然后开始编辑。① 新建工作文件夹,此处在D盘新建“爬虫练习”② 在settings里面设置”浏览器标识“④ 安装scrapy。
2024-02-27 22:30:48 960
原创 视频的关键帧提取
输出关键帧图片(每个视频对应一个文件夹,里面存储关键帧图片,后续要搞一下命名方面研究)输入视频(目前视频还是要下载成mp4格式,后续看看能不能直接用链接做)
2023-12-09 15:23:29 463
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人