python爬去百度搜索结果_python爬取百度搜索结果url汇总

写了两篇之后，我觉得关于爬虫，重点还是分析过程

分析些什么呢：

1）首先明确自己要爬取的目标

比如这次我们需要爬取的是使用百度搜索之后所有出来的url结果

2）分析手动进行的获取目标的过程，以便以程序实现

比如百度，我们先进行输入关键词搜索，然后百度反馈给我们搜索结果页，我们再一个个进行点击查询

3）思考程序如何实现，并克服实现中的具体困难

那么我们就先按上面的步骤来，我们首先认识到所搜引擎，提供一个搜索框，让用户进行输入，然后点击执行

我们可以先模拟进行搜索，发现点击搜索之后的完整url中有一项很关键，如下

http://www.baidu.com/s?wd=搜索内容......

后面的内容我们尝试去除之后再次请求上面的url，发现返回的信息一样，我们就可以断定请求的url只需要填入wd这个参数即可

接着我们就应该进行尝试requests.get()查看是否能正常返回页面，防止百度的反爬虫

嘿，幸运的是返回页面正常哈哈~

（当然如果没有返回到正常信息，只要设置好headers或者严格的cookies就行了）

importrequests

url= 'http://www.baidu.com/s?wd=......'r=requests.get(url)print r.status_code,r.content

好，接下来我们就想知道怎么爬取所有的结果

我么再次对url进行分析，发现url中还有一项很关键，是控制页码的项：

http://www.