Python爬虫入门教程21：文档的爬取

Python爬虫入门教程08：爬取csdn文章保存成PDF

Python爬虫入门教程09：多线程爬取表情包图片

Python爬虫入门教程10：彼岸壁纸爬取

Python爬虫入门教程11：新版王者荣耀皮肤图片的爬取

Python爬虫入门教程12：英雄联盟皮肤图片的爬取

Python爬虫入门教程13：高质量电脑桌面壁纸爬取

Python爬虫入门教程14：有声书音频爬取

Python爬虫入门教程15：音乐网站数据的爬取

Python爬虫入门教程17：音乐歌曲的爬取

Python爬虫入门教程18：好看视频的爬取

Python爬取入门教程19：YY短视频的爬取

Python爬虫入门教程20：IP代理的爬取使用

PS：如有需要 Python学习资料 以及 解答 的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

基本开发环境💨

---

• Python 3.6

• Pycharm

相关模块的使用💨

---

import os

import requests

import time

import re

import json

from docx import Document

from docx.shared import Cm

安装Python并添加到环境变量，pip安装需要的相关模块即可。

💥目标网页分析

---

网站的文档内容，都是以图片形式存在的。它有自己的数据接口

接口链接：

https://openapi.book118.com/getPreview.html?&project_id=1&aid=272112230&t=f2c66902d6b63726d8e08b557fef90fb&view_token=SqX7ktrZ_ZakjDI@vcohcCwbn_PLb3C1&page=1&callback=jQuery18304186406662159248_1614492889385&_=1614492889486

接口的请求参数

整体思路

---

• 请求网页返回response数据（字符串）

• 通过re模块匹配提取中间的数据（列表）索引取0（字符串）

• 通过json模块是把提取出来的数据转换成json模块

• 通过遍历获取每张图片的url地址

• 保存图片到本地文件夹

• 把图片保存到word文档

爬虫代码实现

---

def download():

content = 0

for page in range(1, 96, 6):

给定 2秒延时

time.sleep(2)

获取时间戳

now_time = int(time.time() * 1000)

url = ‘https://openapi.book118.com/getPreview.html’

请求参数

params = {

‘project_id’: ‘1’,

‘aid’: ‘272112230’,

‘t’: ‘f2c66902d6b63726d8e08b557fef90fb’,

‘view_token’: ‘SqX7ktrZ_ZakjDI@vcohcCwbn_PLb3C1’,

‘page’: f’{page}',

‘_’: now_time,

}

请求头

headers = {

‘Host’: ‘openapi.book118.com’,

‘Referer’: ‘https://max.book118.com/html/2020/0427/8026036013002110.shtm’,

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’

}

response = requests.get(url=url, params=params, headers=headers)

使用正则表达式提取内容

result = re.findall(‘jsonpReturn((.*?))’, response.text)[0]

字符串转json数据

json_data = json.loads(result)[‘data’]

字典值的遍历

for value in json_data.values():

content += 1

拼接图片url

img_url = ‘http:’ + value

print(img_url)

headers_1 = {

‘Host’: ‘view-cache.book118.com’,

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’

}
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

mg-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）