tqdm
爱吃肉真是太好了呀
这个作者很懒,什么都没留下…
展开
-
MongoDB+selenium+requests实现mp3音频去重爬取
1. 借助浏览器快速定位元素关于网页元素的定位方法有很多,css、xpath…网上一搜一大堆,我就不赘述了。浏览器都自带了调试工具,以Chrome为例,我们打开一个网页,右击网页–》检查,或者使用快捷键F12打开。调整浏览器调试窗口位置打开调试模式后,点击如图所示的位置,按照自己的喜好设置调试窗口位置开启查找元素定位点击Elements,然后使用ctrf+f,即可弹出一个输入框。我们可以在这里面输入字符串,使用selector,xpath语法xpath示例一如下图所示:定原创 2020-07-26 18:47:04 · 392 阅读 · 0 评论 -
requests流数据分块下载方式并设置进度条显示
下载方式一通常情况下我们下流数据文件,比如视频、图片…使用的普遍是下面这段代码(我自己就是)。方式一# coding=utf-8import requestsurl = "http://127.0.0.1:5001/video"res = requests.get(url)with open('电影下载.mp4', 'wb') as f: f.write(res.content)上面这种方式下载的缺点是什么呢?我们来看个例子:我们下载个1.4G的电影视频,电影大小如图:查原创 2020-07-25 23:20:43 · 1865 阅读 · 0 评论