准备工作
具体的准备工作可参考笔者的另一篇博客:Python3使用xpath爬原创力文档,两者原理相同。
-
首先,随便进入百度文库的一篇PPT文档(记得一定要点开记得阅读,加载出所有画面,才能爬取完整文档)。
-
接着,进入网页源代码,同样找出src的地址。
-
然后,根据个人喜好复制指定部分的网页源码(但一定要包含下载内容)到TXT文件中,笔者复制的是下图光标处< div>< /div>中的元素。
-
现在,我们就可以开始爬取了。
源代码
"""
爬取百度文库上的PPT文档
"""
import time
from urllib.request import urlretrieve
from lxml import etree
import numpy as np
def print_ppt(results):
"""打印爬取到的PPT图片
@results:XML网页源码
"""
num = 0
content_list = results.xpath('//div/div')
for content in content_list:
img_url = content.xpath('.//div/img/@src')
# 设个延时
time.sleep(np.random.randint(0, 3))
if len(img_url):
img_url = img_url[0].strip()
num += 1
img_name = str(num) + '.jpg'
# 根据src地址下载图片,下载目录默认是当前工作路径
urlretrieve(img_url, img_name, cbk)
print('打印第', num, '张成功!')
# 随机生成代理地址
def cbk(a, b, c):
"""回调函数
@a:已经下载的数据块
@b:数据块的大小
@c:远程文件的大小
"""
per = 100.0 * a * b / c
if per > 100:
per = 100
print('%.2f%%' % per)
if __name__ == '__main__':
with open('html.txt', 'r', encoding='utf-8') as file:
data = file.read()
data = etree.HTML(data)
print_ppt(data)
值得提醒的是,虽然我们并不是通过网页地址用rquests去获取网页源代码,但是我们同样要记得设置延时和代理地址,防止IP地址被封!!!
笔者在实验过程中,因为图简便快捷就被封了,要等几天才能使用在百度文库上搜索文档o(╥﹏╥)o55555~~~
最后,由于笔者能力有限,暂时还没想到完整爬取百度文库上的Word和PDF文档。如果你有好的想法和建议,欢迎在评论区交流~
希望大家能看得开心,有所收获!