python爬虫爬取百度搜索结果,Bob blog

前面一篇聊了一些基础的概念，在这篇里可以试一下基础的搜索和收集内容。

当我们在用百度搜索时，我们会看到很多相关的信息。于是我们可以用爬虫来帮助我们搜索和收集相关的信息。

比如我想查看百度收录的stackoverflow里爬虫相关的内容的前十条，打开浏览器比如firefox或chrome，按F12打开dev tool，再输入百度的地址访问并搜索时，在network tab下我们能看到请求的详细信息，如下图。当了解了这个过程和一些参数，我们便可以模拟这个过程。

首先我们先用requests库来封装一下http的get。

# in utils

import requests

class HttpHelper:

default_headers = {"Content-type": "text/html; charset=UTF-8"}

@classmethod

def get_response_by_url(cls, url, data=None, headers={}):

headers = dict(cls.default_headers, **headers)

if data:

result = requests.get(url, headers=headers, params=data)

else:

result = re