【Python学习笔记】利用Python爬取百度搜索结果

首先是需要的库：

urllib,urllib2 ----- 构建访问请求

sys ----- Python标准库

beautifulsoup ----- 解析抓取结果

一、构建访问请求

Python中urllib.urlencode可以把key-value这样的键值对转换成a=1&b=2这样的格式，如：

from urllib import urlencode
data = {'ie':'utf-8', 'word':'test'}
print data
print urlencode(data)

百度搜索的关键字为中文时，传递中文参数给URL需要经过转码，urlencode可以对中文进行转码