python的urllib模块_python urllib2模块学习

urllib2是urllib扩展的库，不仅可以使用http协议，而且可以扩展到ftp等协议。

常用函数一：urlopen(url, data=None, timeout=)

最基本的用法和urllib下面的urlopen(url, data=None)一样，传递一个URL参数， 添加post需要的data，返回值是一个类似于file的对象， 可以使用通常的文件操作来操作这个对象，比如read，write等。

urllib2.urlopen()参数可以用一个request的对象来代替URL，而且增加了一个URLError异常，对于HTTP协议的错误，增加了一个HTTPError的异常，其中这个HTTPError自动变成一个合法的response来返回。

最简单的使用情况：

import urllib2

url = "http://www.baidu.com"

response = urllib2.urlopen(url)

print response.info()

注意url一定要添加协议类型，也就是http://，其中response.info()可以获取返回来的http response head的信息，response.read()用来获取response的body信息。

默认如果只有一个url参数，那么默认是使用HTTP GET 的方法来访问url。

如果访问的url不存在， 那么会返回一个HTTPError

import urllib2

url = "http://www.jnrain.com/go"

response = urllib2.urlopen(url)

print response.info()

print response.read()

其中错误信息如下：

raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)

urllib2.HTTPError: HTTP Error 404: Not Found可以看到是404错误，默认情况下，只要不是2XX的返回码，都会被当成错误对待。可以通过HTTPError来捕捉错误信息

import urllib2

url = "http://www.jnrain.com/go"

try:

response = urllib2.urlopen(url)

print response.info()

print response.read()

except urllib2.HTTPError, e:

print e.getcode()

print e.reason

print e.geturl()

print "-------------------------"

print e.info()

print e.read()通过捕捉错误可以打印出详细的错误信息：

404

Not Found

http://www.jnrain.com/go

-------------------------

Server: nginx/1.4.1

Date: Wed, 19 Feb 2014 08:51:50 GMT

Content-Type: text/html; charset=gb18030

Content-Length: 168

Connection: close

404 Not Found

404 Not Found

nginx/1.4.1

urlopen还可以使用request对象作为参数，不过首先我们得先创建一个request的对象， 通过Request类来完成， Request类有很多不同的方法， 比较常用的是add_header(self, key, val)方法， 这个方法可以添加我们自己的http header

import urllib2

request = urllib2.Request("http://www.jnrain.com/wForum/logon.php")

request.add_header('User-agent', 'Internet Explorer')

try:

response = urllib2.urlopen(request)

except urllib2.URLError, e:

print e.code

headers = response.info()

data = response.read()

这样我们的http request头部中的user-agent就变成了Internet Explorer，如果创建reques的时候不添加data， 那么默认使用GET方法，如果添加data，那么使用POST方法，下面是Request类中的方法：

def get_method(self):

if self.has_data():

return "POST"

else:

return "GET"

# XXX these helper methods are lame

def add_data(self, data):

self.data = data

def has_data(self):

return self.data is not None

def get_data(self):

return self.data

可以在执行时输出debug信息

import urllib2

httpHandler = urllib2.HTTPHandler(debuglevel=1)

httpsHandler = urllib2.HTTPSHandler(debuglevel=1)

opener = urllib2.build_opener(httpHandler, httpsHandler)

urllib2.install_opener(opener)

url = "http://www.baidu.com"

request = urllib2.Request(url)

request.add_header("User-Agent", "Firefox")

response = urllib2.urlopen(request)

只要定义debuglevel设置为1就可以了

post 表单的相关使用:

import urllib2

import urllib

httpHandler = urllib2.HTTPHandler(debuglevel=1)

httpsHandler = urllib2.HTTPSHandler(debuglevel=1)

opener = urllib2.build_opener(httpHandler, httpsHandler)

urllib2.install_opener(opener)

url = "https://www.account.xiaomi.com/pass/serviceLoginAuth2"

postdata = urllib.urlencode({"user":"XXXXXXX",

"_json":"true",

"pwd":"XXXXXXX",

"sid":"eshop",

"_sign":"g7K1HSZPYIaO4tSlhS1xdDJBPV8=",

"callback":"http://order.xiaomi.com/login/callback?followup=http%3A%2F%2Fwww.xiaomi.com%2Findex.php&sign=ZjEwMWVlOTY3MWM1OGE3YjYxNGRiZjQ5MzJmYjI5NDE0ZWY0NzY5Mw,," })

request = urllib2.Request(url, data=postdata)

request.add_header("User-Agent", "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:26.0) Gecko/20100101 Firefox/26.0")

try:

response = urllib2.urlopen(request)

print response.info()

print response.read()

except urllib2.HTTPError,e:

print e.getcode()

print e.reason上面是小米的自动登陆界面的表单post提交，可以使用firefox和Tamper Data来获取post需要的参数，然后填写正确的用户名和密码就可以了。