Python爬虫的一些常用库(请求2)

爬虫第一步就是请求了，请求模块一般是requests和urllib，而urllib现在很少人用了，但是也有人，下面我们试试安装和使用吧。

安装

简单的用法

import urllib.request
response = urllib.request.urlopen('http://www.baidu.com')
print(response.read().decode('utf-8'))

和requests的请求对比可以发现，网址头是http，如果换成https的话爬不出来内容

代理IP

import urllib.request
proxy_handler = urllib.request.ProxyHandler({
    'http':'http://127.0.0.1:9743',
    'https':'https://127.0.0.1:9743'
})
openner = urllib.request.build_opener(proxy_handler)
response = openner.open('http://httpbin.org/ip')
print(response.read().decode())

我没怎么学过urllib，知道的不多，而且也不常用urllib，所以就这样OK了