手把手教你爬虫入门之urllib库的作用（以爬取baidu首页为例）

在正式文章之前呢，先讲一下 HTTP headers

何为 headers 呢，
HTTP Headers是HTTP请求和相应的核心，它承载了关于客户端浏览器，请求页面，服务器等相关的信息。

通俗的来说，headers就是用户发送给网页的信息。
那么headers对我们开发爬虫来说有什么实际意义呢？
我们使用python开发爬虫去爬取网页，很容易被服务器识别为“非人类”，从而被服务器拒绝访问，导致我们无法爬取页面，而我们利用headers就可以让爬虫伪装成“人类”获取网页信息。

一般我们要使用的headers信息有 ：cookie，referer, user-agent
那么怎么查看headers呢？
在我们打开目标网页后，按F12打开控制台，再按下F5刷新页面：

第一个箭头指向的圆点可以暂停一下，可以定位到我们最开始的请求，也就是第二个箭头指向的位置，点第二个箭头指向的位置，就可以看到第三个箭头指向的位置，我们点进去可以看到：
我们要的headers信息都在

urllib：

这是我们爬取baidu首页的代码：
注：此代码无法直接运行，需要先将代码段中标注位置修改为使用者的headers

# -*- coding: utf-8 -*-
"""
Created on Sat Sep 11 12:42:05 2021

@author: Napoléon Bonaparte
"""

import urllib  #引入 urllib 库



def main(): 
    askurl("https://www.baidu.com/")



def askurl(url):
    head = {"User-Agent": "你找出来的User-Agent "}
    request = urllib.request.Request(url,headers=head)
    
    html = " "
    
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        print(html)
        
        fh_save(html)
        
    except urllib.error.URLError as e :
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)

    return html


#此函数是用来保存文件的
def fh_save(file_name):
        fh = open('save.html','w',encoding='utf-8')
        fh.write(file_name)
        fh.close()





       
if __name__ == "__main__":    #执行主函数
	main()
	print("执行完毕！")        
    

将文字标注位置换为使用者User-Agent即可爬取百度首页，爬取内容保存在py代码文件根目录下。

下面为代码段讲解：

head = {"User-Agent": "你找出来的User-Agent "}
    request = urllib.request.Request(url,headers=head)

此段代码使用 head 作为字典保存了User-Agent信息，在我们实际使用时，也可将cookie，referer信息保存在head中
request 封装了用户代理，表示告诉我们将要访问的 url 的 headers信息

try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        print(html)
        
        fh_save(html)
        
except urllib.error.URLError as e :
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)

#此函数是用来保存文件的
def fh_save(file_name):
        fh = open('save.html','w',encoding='utf-8')
        fh.write(file_name)
        fh.close()

此段代码是 try except 语句，类似C++中的 if else
而我们真正开始爬取目标网站的代码是：
response = urllib.request.urlopen(request)
此代码表示通过 urllib 库 中的 request.urlopen 传递我们已经封装好的对象 request
此时 response 已经保存了爬取目标网页信息

html = response.read().decode(“utf-8”)
这一行中的 decode（“utf-8”）指的是‘’以utf-8‘’规则对网页信息解码，使用utf-8可以让网页包含中文。

except urllib.error.URLError as e :
if hasattr(e, “code”):
print(e.code)
if hasattr(e, “reason”):
print(e.reason)

这段代码是在不能访问目标页面的情况下执行的，urllib.error.URLError 的作用是收集报错代码。
不得不指出的是，如果收集到的报错代码是418，则是被服务器识别出来不是‘人类’在操作，需要去修改headers，让我们的爬虫伪装的更像人类操作。

当我们成功运行代码之后，返回到我们的根目录下查看，会发现多出来一个 save.html 的文件，我们使用浏览器打开，会发现这就是我们爬取到的 baidu.com 首页。