![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
weixin_42515907
此人不懒
展开
-
解决fake-useragent Maximum amount of retries reached的方法
下载: https://fake-useragent.herokuapp.com/browsers/0.1.11 另存为: fake_useragent.json,将json文件保存在代码所在的文件夹下; 之后在UserAgent对应的部分加入如下参数: location = os.getcwd() + ‘/fake_useragent.json’ ua = fake_useragent.UserAgent(path=location).random ...原创 2021-07-21 11:21:06 · 191 阅读 · 0 评论 -
python网络爬虫基础知识
python网络爬虫与信息提取 1、目标 掌握定向网络数据爬取和网页解析的基本能力 the website is the API (将网站作为API获得自己想要的数据) 2、学习过程 (1)、requests库 自动爬取HTML页面,自动向网络提交请求 (2)、robots.txt 网络爬虫排除标准 (3)、Beaytiful Soup库 解析HTML界面和信息内容, (4)、Projects实...原创 2019-02-26 11:43:35 · 1856 阅读 · 0 评论