Python抓取网页之urllub2 urllib

import urllib2
import urllib

1、抓取网页

response = urllib2.urlopen(“http://www.baidu.com/”)
print response.read()

‘’’
分析：
response = urllib2.urlopen(“http://www.baidu.com/”)

调用urllib2的urlopen方法，传入一个url，这个网址的协议是http，也可以使用ftp,file,https等

urlopen接受三个参数：
    urlopen(url, data, timeout)
    第一个url就是URL地址，
    第二个data是访问URL时要传送的数据，
    第三个timeout是设置超时时间。
    第二三个参数可以不传送，data默认为空，timeout默认为socket._GLOBAL_DEFAULT_TIMEOUT
    第一个参数必须传送。
返回一个response对象，返回信息保存在这里面。

print response.read()
    response对象有一个read()方法，可以获取网页内容

‘’’

----------------------------------------------------------------------------------------

2、构造request

request = urllib2.Request(“http://www.baidu.com/”)
response = urllib2.urlopen(request)
print response.read()

‘’’
分析：
urlopen传入一个request请求，其实就是一个Request类的实例，构造时传入URL，data等内容。

通过构造一个request，服务器响应请求得到应答，逻辑更加清晰

‘’’

----------------------------------------------------------------------------------------

3、POST和GET数据传送

POST

values = {}
values[“username”] = “kevinelstri”
values[“password”] = “******”
data = urllib.urlencode(values)
url = “https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn”
request = urllib2.Request(url, data)
response = urllib2.urlopen(request)
print response.read()

GET

values = {}
values[“username”] = “kevinelstri”
values[“password”] = “******”
data = urllib.urlencode(values)
url = “http://passport.csdn.net/account/login”
geturl = url+’?’+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()

‘’’
分析：
动态网页的抓取以及登录，不能直接进行获取，需要需要进行登陆。

数据传送分为POST和GET

    GET方式是直接以链接形式进行访问，链接包含了所有的参数，当然如果包含了密码的话就是一种不安全的选择，
不过可以直观的看到提交的内容。
    POST方式不会在网址上显示所有的参数，不过如果想直接查看提交的内容就不太方便了。

‘’’

----------------------------------------------------------------------------------------

4、高级用法：设置Headers

url = ‘http://www.server.com/login’
user_agent = ‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)’
values = {“username”:“1098918523@qq.com”, “password”:“341204baiduhi”}
headers = {‘User_Agent’: user_agent}
data = urllib.urlencode(values)
request = urllib2.Request(url, data, headers)
response = urllib2.urlopen(request)
print response.read()

----------------------------------------------------------------------------------------

5、高级用法：proxy的设置

enable_proxy = True
proxy_handler = urllib2.ProxyHandler({“http”: “http://some-proxy.com:8080”})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

‘’’
分析：
使用代理服务器进行访问，来防止ip访问次数过多造成访问禁止
‘’’

----------------------------------------------------------------------------------------

6、高级用法：Timeout设置

response = urllib2.urlopen(‘http://www.baidu.com’, timeout=10)
print response.read()

‘’’
分析：
设置Timeout,设置等待多久超时，为解决网站响应慢造成的影响
‘’’

----------------------------------------------------------------------------------------

7、高级用法：使用http的put和delete方法

url = “http://www.baidu.com”
request = urllib2.Request(url)
request.get_method = lambda: ‘PUT’ # or ‘DELETE’
response = urllib2.urlopen(request)
print response.read()

‘’’
分析：
http协议的六种请求：
get,head,put,delete,post,options

put:和post相似，都是向服务器发送数据
    一个重要区别就是：put通常指定了资源的存放位置，而post则没有，post的数据存放位置由服务器自己决定
delete：删除某个资源，很少使用

‘’’

----------------------------------------------------------------------------------------

8、高级用法：使用debuglog,调试日志

httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen(“http://www.baidu.com”)

‘’’
分析：
将收发包的内容打印到屏幕上，方便调试，打印的是调试日志
‘’’
作者：kevinelstri
来源：CSDN
原文：https://blog.csdn.net/kevinelstri/article/details/52912634
版权声明：本文为博主原创文章，转载请附上博文链接！