python爬虫入门-发送请求

py 3.x版本后，处理爬虫相关的几个包合并成了一个urllib包

（按help(urllib)的文档，包内包含了  error，parse， request，response，robotparser

这5个部分，其中robotparser是一种由网站管理者编写的控制爬虫爬取时限制的规范）

访问百度并直接输出网页代码，如下：

#!usr/bin/python
import urllib.request as request


url = "http://www.baidu.com"
data = request.urlopen(url).read()
data = data.decode('UTF-8')
print(data)

输出效果：

在此基础上，试着添加查询字并返回查询结果，代码如下：

#!usr/bin/python
import urllib
import urllib.request
 
data={}
data['word']='VAN'
 
url_values=urllib.parse.urlencode(data)
url="http://www.baidu.com/s?"
full_url=url+url_values
 
data=urllib.request.urlopen(full_url).read()
data=data.decode('UTF-8')
print(data)

这样最基础的访问操作就完成了 = =

之后要做的还有很多....

参考链接：

py urllib
http://blog.csdn.net/hxsstar/article/details/17240975

抓取网页所有url
http://www.iplaypy.com/crawler/152.html

正则表达式
http://www.oschina.net/question/12_9507

BeautifulSoap
http://cuiqingcai.com/1319.html