爬虫第一步就是请求了,请求模块一般是requests和urllib,而urllib现在很少人用了,但是也有人,下面我们试试安装和使用吧。
安装
简单的用法
import urllib.request
response = urllib.request.urlopen('http://www.baidu.com')
print(response.read().decode('utf-8'))
和requests的请求对比可以发现,网址头是http,如果换成https的话爬不出来内容
代理IP
import urllib.request
proxy_handler = urllib.request.ProxyHandler({
'http':'http://127.0.0.1:9743',
'https':'https://127.0.0.1:9743'
})
openner = urllib.request.build_opener(proxy_handler)
response = openner.open('http://httpbin.org/ip')
print(response.read().decode())
我没怎么学过urllib,知道的不多,而且也不常用urllib,所以就这样OK了