river1220132337的博客

原创 python网络爬虫——爬取嗅事百科

网络爬虫 - 爬取嗅事百科 爬取过程分三大步： 一，请求，获取网页源码 url为：url =' https : //www.qiushibaike.com/8hr/page/'+ str（page）先构造请求，这里要加入UA（用户代理）字段，模仿浏览器请求，躲开反爬虫策略，代码如下： def get_html(url): headers = {'User-Agent': 'Mozil...