python urllib2模块学习

最新推荐文章于 2024-07-02 12:36:15 发布

深夜航船

最新推荐文章于 2024-07-02 12:36:15 发布

阅读量2.5w

点赞数

文章标签： python

本文链接：https://blog.csdn.net/youfuchen/article/details/19492821

版权

urllib2是urllib扩展的库，不仅可以使用http协议，而且可以扩展到ftp等协议。

常用函数一：urlopen(url, data=None, timeout=<object object>)

最基本的用法和urllib下面的urlopen(url, data=None)一样，传递一个URL参数，添加post需要的data，返回值是一个类似于file的对象，可以使用通常的文件操作来操作这个对象，比如read，write等。

urllib2.urlopen()参数可以用一个request的对象来代替URL，而且增加了一个URLError异常，对于HTTP协议的错误，增加了一个HTTPError的异常，其中这个HTTPError自动变成一个合法的response来返回。

最简单的使用情况：

import urllib2

url = "http://www.baidu.com"
response = urllib2.urlopen(url)
print response.info()

注意url一定要添加协议类型，也就是http://，其中response.info()可以获取返回来的http response head的信息，response.read()用来获取response的body信息。

默认如果只有一个url参数，那么默认是使用HTTP GET 的方法来访问url。

如果访问的url不存在，那么会返回一个HTTPError

import urllib2

url = "http://www.jnrain.com/go"
response = urllib2.urlopen(url)
print response.info()
print response.read()

其中错误信息如下：

   raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 404: Not Found

可以看到是404错误，默认情况下，只要不是2XX的返回码，都会被当成错误对待。可以通过HTTPError来捕捉错误信息

import urllib2

url = "http://www.jnrain.com/go"
try:
    response = urllib2.urlopen(url)
    print response.info()
    print response.read()
except urllib2.HTTPError, e:
    print e.getcode()
    print e.reason
    print e.geturl()
    print "-------------------------"
    print e.info()
    print e.read()

通过捕捉错误可以打印出详细的错误信息：

404
Not Found
http://www.jnrain.com/go
-------------------------
Server: nginx/1.4.1
Date: Wed, 19 Feb 2014 08:51:50 GMT
Content-Type: text/html; charset=gb18030
Content-Length: 168
Connection: close

<html>
<head><title>404 Not Found</title></head>
<body bgcolor="white">
<center><h1>404 Not Found</h1></center>
<hr><center>nginx/1.4.1</center>
</body>
</html>

urlopen还可以使用request对象作为参数，不过首先我们得先创建一个request的对象，通过Request类来完成， Request类有很多不同的方法，比较常用的是add_header(self, key, val)方法，这个方法可以添加我们自己的http header

import urllib2

request = urllib2.Request("http://www.jnrain.com/wForum/logon.php")
request.add_header('User-agent', 'Internet Explorer')
try:    
    response = urllib2.urlopen(request)
except urllib2.URLError, e:
    print e.code
    
headers = response.info()
data = response.read()

这样我们的http request头部中的user-agent就变成了Internet Explorer，如果创建reques的时候不添加data，那么默认使用GET方法，如果添加data，那么使用POST方法，下面是Request类中的方法：

def get_method(self):
        if self.has_data():
            return "POST"
        else:
            return "GET"

    # XXX these helper methods are lame

    def add_data(self, data):
        self.data = data

    def has_data(self):
        return self.data is not None

    def get_data(self):
        return self.data

可以在执行时输出debug信息

import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
url = "http://www.baidu.com"
request = urllib2.Request(url)
request.add_header("User-Agent", "Firefox")
response = urllib2.urlopen(request)

只要定义debuglevel设置为1就可以了

post 表单的相关使用:

import urllib2
import urllib

httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)

url = "https://www.account.xiaomi.com/pass/serviceLoginAuth2"
postdata = urllib.urlencode({"user":"XXXXXXX",
                             "_json":"true",
                             "pwd":"XXXXXXX",
                             "sid":"eshop",
                             "_sign":"g7K1HSZPYIaO4tSlhS1xdDJBPV8=",
                             "callback":"http://order.xiaomi.com/login/callback?followup=http%3A%2F%2Fwww.xiaomi.com%2Findex.php&sign=ZjEwMWVlOTY3MWM1OGE3YjYxNGRiZjQ5MzJmYjI5NDE0ZWY0NzY5Mw,,"                                                                 })
request = urllib2.Request(url, data=postdata)
request.add_header("User-Agent", "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:26.0) Gecko/20100101 Firefox/26.0")

try:
    response = urllib2.urlopen(request)
    print response.info()
    print response.read()
except urllib2.HTTPError,e:
    print e.getcode()
    print e.reason

上面是小米的自动登陆界面的表单post提交，可以使用firefox和Tamper Data来获取post需要的参数，然后填写正确的用户名和密码就可以了。