【Python爬虫】爬取搜狗首页的页面数据

分析

1、指定url
首先进入搜狗搜索页面，指定url，并进行UA伪装。
UA就是User-Agent，UA伪装就是让爬虫对应的请求载体身份标识伪装成某一款浏览器。因为门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，就说明该请求是一个正常的请求。但是，如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求为不正常的请求（爬虫），服务器就很有可能会拒绝该次请求。
我们进入到搜狗搜索页面，打开开发者工具（鼠标右击，点击“检查”即可），点击Network，刷新页面。我们可以找到对应的URL和User-Agent。

2、发起请求
我们可以通过开发者工具看到请求方式为GET，所以我们使用requests.get()方法。

3、获取响应数据
从下图可知，内容的类型为text/html，所以我们使用