m0_55225077的博客

原创 requests - 简易网页采集器

requests - 简易网页采集器 需求：爬取搜狗指定词条对应的搜索结果页面 思路分析： 打开搜狗搜索，输入关键词：爬虫，打开网页搜狗搜索-爬虫，这个页面就是需要采集的内容了。 步骤： 1、导入模块 2、指定url 3、发送请求，获取数据 4、保存数据 首先做一下UA伪装（将爬虫装成浏览器），打开网页，右键检查，找到network，随便点击一个加载的内容，在headers中找到user-agent，复制一下，封装到字典里。 观察当前页面的url，发现是由域名+对应请求的参数query构成的。将quer