举例用Python爬取科目四考试题库的详细方法

本文链接：https://blog.csdn.net/yunyun889901/article/details/116705178

这篇文章仅提供参考
考驾驶证这是多少人的噩梦，小编就惧怕考证，不敢想象“马路女杀手”在我这里会不会升级成“上手车没人没”，我的父亲大人，他用他坚强的毅力连续报考了六次，这中间的过程我不知道是有多残忍，就在去年度过劫难考到证，就差摆一桌庆祝了，啊~艰难的考证之路，进入主题

1、环境

PyCharm

Python 3.6
在这里插入图片描述

谷歌浏览器
pip安装的依赖包包括：requests 2.25.0、urllib3 1.26.2、docx 0.2.4、python-docx 0.8.10、lxml 4.6.2
在这里插入图片描述

2、目标网站及请求分析

驾驶员考试网站
在这里插入图片描述

从上图中，可以看到科目四共有1487道题目，为了将所有的题目汇总到一个Word文档中，需要获取到每道题的文本和图片。
首先，打开谷歌浏览器访问上述网站，键盘按F12，点击Network，点击左侧题目中的向右箭头，一直点击下一道题，不断发起请求，在右侧可以看到每个题目的请求链接中只有五位字符的考试码不一样，所以我们要想办法获取每道题目的考试码。
在这里插入图片描述

点击其中的一个请求，在Headers中可以看到题目请求的url网址和状态，在Preview中可以看到题目的相关信息。
在这里插入图片描述

然后用谷歌浏览器打开上述网站，然后键盘按F12，点击sources，点击左侧Page下tk.mnks.cn下的lianxitix下的文件夹，可以看到Exam的相关变量信息，其中ExamCodes就是1487道题所对应的考试码。
在这里插入图片描述

var ExamStatus = "200";
var ExamMsg = "";
var ExamVersion = "20210205090935";
var ExamCount = 1487;
var ExamCodes =

3、Python代码

完整代码如下：

import requests
import time
import urllib.request
import docx
#创建内存中的word文档对象
from docx.shared import Pt
from docx.enum.text import WD_PARAGRAPH_ALIGNMENT
 
def download_img(img_url,imgname):
  request = urllib.request.Request(img_url)
  try:
    response = urllib.request.urlopen(request)
    img_name = imgname+'.gif'
    filename = "D:\\Program Files (x86)\\Py