python爬虫 - 使用urllib

基本使用

urlllib是python3自带的一个http请求库，使用urlllib就可以对网页进行简单的请求构造。

request模块

urllib.request模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理授权验证，重定向，cookies以及其它内容。我们来打开httpbin.org这个测试网站。

urlopen()

在urllib库中有urlopen()的方法，实际上它是以GET方式请求了一个网页。

import urllib.request

response = urllib.request.urlopen('https://httpbin.org/get')
print(response.read().decode('utf-8'))

运行结果如下：

{
  "args": {}, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Connection": "close", 
    "Host": "httpbin.org", 
    "User-Agent": "Python-urllib/3.7"
  }, 
  "origin": "116.227.107.42", 
  "url": "https://httpbin.org/get"
}

利用最基本的urlopen()方法，我们可以完成最基本的简单网页的GET请求抓取。