在正式文章之前呢,先讲一下 HTTP headers
何为 headers 呢,
HTTP Headers是HTTP请求和相应的核心,它承载了关于客户端浏览器,请求页面,服务器等相关的信息。
通俗的来说,headers就是用户发送给网页的信息。
那么headers对我们开发爬虫来说有什么实际意义呢?
我们使用python开发爬虫去爬取网页,很容易被服务器识别为“非人类”,从而被服务器拒绝访问,导致我们无法爬取页面,而我们利用headers就可以让爬虫伪装成“人类”获取网页信息。
一般我们要使用的headers信息有 :cookie,referer, user-agent
那么怎么查看headers呢?
在我们打开目标网页后,按F12打开控制台,再按下F5刷新页面:
第一个箭头指向的圆点可以暂停一下,可以定位到我们最开始的请求,也就是第二个箭头指向的位置,点第二个箭头指向的位置,就可以看到第三个箭头指向的位置,我们点进去可以看到:
我们要的headers信息都在
urllib:
这是我们爬取baidu首页的代码:
注:此代码无法直接运行,需要先将代码段中标注位置修改为使用者的headers
# -*- coding: utf-8 -*-
"""
Created on Sat Sep 11 12:42:05 2021
@author: Napoléon Bonaparte
"""
import urllib #引入 urllib 库
def main():
askurl("https://www.baidu.com/")
def askurl(url):
head = {"User-Agent": "你找出来的User-Agent "}
request = urllib.request.Request(url,headers=head)
html = " "
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
print(html)
fh_save(html)
except urllib.error.URLError as e :
if hasattr(e, "code"):
print(e.code)
if hasattr(e, "reason"):
print(e.reason)
return html
#此函数是用来保存文件的
def fh_save(file_name):
fh = open('save.html','w',encoding='utf-8')
fh.write(file_name)
fh.close()
if __name__ == "__main__": #执行主函数
main()
print("执行完毕!")
将文字标注位置换为使用者User-Agent即可爬取百度首页,爬取内容保存在py代码文件根目录下。
下面为代码段讲解:
head = {"User-Agent": "你找出来的User-Agent "}
request = urllib.request.Request(url,headers=head)
此段代码使用 head 作为字典保存了User-Agent信息,在我们实际使用时,也可将cookie,referer信息保存在head中
request 封装了用户代理,表示告诉我们将要访问的 url 的 headers信息
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
print(html)
fh_save(html)
except urllib.error.URLError as e :
if hasattr(e, "code"):
print(e.code)
if hasattr(e, "reason"):
print(e.reason)
#此函数是用来保存文件的
def fh_save(file_name):
fh = open('save.html','w',encoding='utf-8')
fh.write(file_name)
fh.close()
此段代码是 try except 语句,类似C++中的 if else
而我们真正开始爬取目标网站的代码是:
response = urllib.request.urlopen(request)
此代码表示通过 urllib 库 中的 request.urlopen 传递我们已经封装好的对象 request
此时 response 已经保存了爬取目标网页信息
html = response.read().decode(“utf-8”)
这一行中的 decode(“utf-8”)指的是‘’以utf-8‘’规则对网页信息解码,使用utf-8可以让网页包含中文。
except urllib.error.URLError as e :
if hasattr(e, “code”):
print(e.code)
if hasattr(e, “reason”):
print(e.reason)
这段代码是在不能访问目标页面的情况下执行的,urllib.error.URLError 的作用是收集报错代码。
不得不指出的是,如果收集到的报错代码是418,则是被服务器识别出来不是‘人类’在操作,需要去修改headers,让我们的爬虫伪装的更像人类操作。
当我们成功运行代码之后,返回到我们的根目录下查看,会发现多出来一个 save.html 的文件,我们使用浏览器打开,会发现这就是我们爬取到的 baidu.com 首页。