python---web编程及简单爬虫

python的web相关模块，有两种不同的类型，urlparse和urllib，分别以不同的功能和兼容性来处理URL，前者主要包括urlparse()、urlunparse()和urljoin()，后者可以使用urlopen()或urlretrive()创建web客户端。urllib2模块是一个比urllib功能更加高级的模块。

URL

统一资源定位器URL：prot_sch://net_loc/path:params?query#flag

prot_sch：网路协议或者下载规划。
net_loc：服务器位置，或许也有用户信息。
path：斜线/限定文件或者通用网关接口CGI应用程序的路径。
params：可选参数。
query：连接符&连接键值对。
flag：拆分文档中的特殊锚。
其中，net_loc可以进一步拆分成多个部件，如下：
user:passwd@host:port
user：登录名。
passwd：用户的密码。
host：web服务器运行的机器名或地址，是个必须字段。
port：端口号，默认80。
 

python2.x中

urllib和urllib2

urllib 和 urllib2 是 python2.x 自带的模块，提供了一系列用于操作URL的功能。

urllib 和 urllib2 都是接受URL请求的相关模块，但是urllib2可以接受一个Request类的实例来设置URL请求的 headers，urllib 仅可以接受URL。这意味着，urllib不可以伪装你的User Agent 字符串等。
但是 urllib 提供 urlencode 方法用来对数据进行url编码，而 urllib2 没有，所以 urllib 经常和 urllib2 一起使用。

常用方法和类

urllib2.urlopen( url  [, data]  [, timeout] )

#打开URL网址。调用urlopen函数对请求的url返回一个response对象。这个response类似于一个file对象，所以用 .read() 函数可以操作这个response对象

• url 参数可以是一个字符串 url 或者是一个Request对象。url 必须是 http:// 的格式
• 对于可选参数 data，表示以 post 方式提交到 url 的数据。不填则为 get 方式提交
• 对于可选的参数 timeout，阻塞操作以秒为单位，如果没有指定，将使用设置的全局默认timeout值。

  import urllib,urllib2
  url = 'http://www.baidu.com'
  r = urllib.urlopen(url)       
  print r.read()          #返回百度发送的请求的页面

   

urllib2.urlopen( urllib2.Request   [,timeout])

• urllib2.Request表示的是一个urllib2.Request对象
• 对于可选的参数 timeout，阻塞操作以秒为单位，如果没有指定，将使用设置的全局默认timeout值

urlopen方法也可通过建立了一个Request对象来明确指明想要获取的url。

urllib.urlretrieve(url,filename)

下载网页上的图片

class urllib2.Request(url  [, data]  [, headers]  [, origin_req_host]  [, unverifiable])

• url 参数可以是一个字符串 url 或者是一个Request对象。url 必须是 http:// 的格式
• 对于可选参数data，data 是一个字符串，指定额外的数据发送到服务器，当请求含有data参数时，HTTP的请求为POST，而不是GET。而data数据需要先进行URL编码处理，这就需要urllib.urlencode()函数了
• 可选参数headers是字典类型，头字典可以作为参数在request时直接传入，也可以把每个键和值作为参数调用add_header()方法来添加。
• 可选参数origin_req_host是RFC2965定义的源交互的request-host。默认的取值是cookielib.request_host(self)。这是由用户发起的原始请求的主机名或IP地址。例如，如果请求的是一个HTML文档中的图像，这应该是包含该图像的页面请求的request-host。
• 可选参数unverifiable代表请求是否是无法验证的，它也是由RFC2965定义的。默认值为false。一个无法验证的请求是，其用户的URL没有足够的权限来被接受。例如，如果请求的是在HTML文档中的图像，但是用户没有自动抓取图像的权限，unverifiable的值就应该是true。

python3.x中

 

requests

安装

pip install requests

requests模块发送网络请求，请求网页的方式

• r = requests.get('url')
• r = requests.post('url')
• r = requests.put('url')
• r = requests.delete('url')
• r = requests.head('url')
• r = requests.options('url')

为URL传递参数

import requests

urllib.urlretrieve('https://www.baidu.com/img/bd_logo1.png',filename='D:\baidu.png')

payload = {'key1':'value1';'key2':'value2'}
r = requests.get("http://www.url.com/get",params=payload)

#复杂的POST请求
#r = requests.post("http://www.url.com/post",data=payload)

print(r.url)

# http://www.url.com/get?key2=value2&key1=value1

响应内容

r=requests.get("http:www.jiangcheche.com")
r.text
r.encoding 'utf-8'
r.encoding 'ISO-8859-1'


r.content          #二进制响应内容

r.status.code      #响应状态码 （200）

r.headers          #响应头

r.cookies                            #Cookies
r.cookies['age_cookie_name']

定制响应头

url= 'http://www.baidu.com'
headers ={'content-type':'application/json'}   #可加cookies
r = requests.get(url,headers=headers)

错误和异常

遇到网络问题时（DNS查询失败，拒绝连接等）

requests会抛出一个ConnectionError异常

遇见罕见的无效HTTP响应时候，Requests就会抛出一个HTTPError异常。

若请求超时，就会抛出一个Timeout异常

requests.get('http://www.baidu.com',timeout=0.001)

爬虫介绍：

python版本有2.7和目前的3.x版本，爬虫会有稍许区别

利用python开发简单爬虫

 

参考链接：Python2中的urllib、urllib2和 Python3中的urllib、requests