Python爬虫入门教程21：文档的爬取

Python爬虫入门教程12：英雄联盟皮肤图片的爬取

Python爬虫入门教程13：高质量电脑桌面壁纸爬取

Python爬虫入门教程14：有声书音频爬取

Python爬虫入门教程15：音乐网站数据的爬取

Python爬虫入门教程17：音乐歌曲的爬取

Python爬虫入门教程18：好看视频的爬取

Python爬取入门教程19：YY短视频的爬取

Python爬虫入门教程20：IP代理的爬取使用

PS：如有需要 Python学习资料 以及 解答 的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

基本开发环境💨

---

• Python 3.6

• Pycharm

相关模块的使用💨

---

import os

import requests

import time

import re

import json

from docx import Document

from docx.shared import Cm

安装Python并添加到环境变量，pip安装需要的相关模块即可。

💥目标网页分析

---

网站的文档内容，都是以图片形式存在的。它有自己的数据接口

接口链接：

https://openapi.book118.com/getPreview.html?&project_id=1&aid=272112230&t=f2c66902d6b63726d8e08b557fef90fb&view_token=SqX7ktrZ_ZakjDI@vcohcCwbn_PLb3C1&page=1&callback=jQuery18304186406662159248_1614492889385&_=1614492889486

接口的请求参数

整体思路

---

• 请求网页返回response数据（字符串）

• 通过re模块匹配提取中间的数据（列表）索引取0（字符串）

• 通过json模块是把提取出来的数据转换成json模块

• 通过遍历获取每张图片的url地址

• 保存图片到本地文件夹

• 把图片保存到word文档

爬虫代码实现

---

def download():

content = 0

for page in range(1, 96, 6):

给定 2秒延时

time.sleep(2)

获取时间戳

now_time = int(time.time() * 1000)

url = ‘https://openapi.book118.com/getPreview.html’

请求参数

params = {

‘project_id’: ‘1’,

‘aid’: ‘272112230’,

‘t’: ‘f2c66902d6b63726d8e08b557fef90fb’,

‘view_token’: ‘SqX7ktrZ_ZakjDI@vcohcCwbn_PLb3C1’,

‘page’: f’{page}',

‘_’: now_time,

}

请求头

headers = {

‘Host’: ‘openapi.book118.com’,

‘Referer’: ‘https://max.book118.com/html/2020/0427/8026036013002110.shtm’,

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’

}

response = requests.get(url=url, params=params, headers=headers)

使用正则表达式提取内容

result = re.findall(‘jsonpReturn((.*?))’, response.text)[0]

字符串转json数据

json_data = json.loads(result)[‘data’]

字典值的遍历

for value in json_data.values():

content += 1

拼接图片url

img_url = ‘http:’ + value

print(img_url)

headers_1 = {

‘Host’: ‘view-cache.book118.com’,

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！