Python3使用xpath爬取百度文库PPT文档

准备工作

具体的准备工作可参考笔者的另一篇博客：Python3使用xpath爬原创力文档，两者原理相同。

1. 首先，随便进入百度文库的一篇PPT文档（记得一定要点开记得阅读，加载出所有画面，才能爬取完整文档）。

2. 接着，进入网页源代码，同样找出src的地址。
   

3. 然后，根据个人喜好复制指定部分的网页源码（但一定要包含下载内容）到TXT文件中，笔者复制的是下图光标处< div>< /div>中的元素。
   

4. 现在，我们就可以开始爬取了。

源代码

"""
爬取百度文库上的PPT文档
"""
import time
from urllib.request import urlretrieve
from lxml import etree
import numpy as np


def print_ppt(results):
    """打印爬取到的PPT图片
    @results:XML网页源码
    """
    num = 0
    content_list = results.xpath('//div/div')
    for content in content_list:
        img_url = content.xpath('.//div/img/@src')
        # 设个延时
        time.sleep(np.random.randint(0, 3))
        if len(img_url):
            img_url = img_url[0].strip()
            num += 1
            img_name = str(num) + '.jpg'
            # 根据src地址下载图片，下载目录默认是当前工作路径
            urlretrieve(img_url, img_name, cbk)
            print('打印第', num, '张成功！')


# 随机生成代理地址
def cbk(a, b, c):
    """回调函数
    @a:已经下载的数据块
    @b:数据块的大小
    @c:远程文件的大小
    """

    per = 100.0 * a * b / c
    if per > 100:
        per = 100
    print('%.2f%%' % per)


if __name__ == '__main__':
    with open('html.txt', 'r', encoding='utf-8') as file:
        data = file.read()
data = etree.HTML(data)
print_ppt(data)

值得提醒的是，虽然我们并不是通过网页地址用rquests去获取网页源代码，但是我们同样要记得设置延时和代理地址，防止IP地址被封！！！
笔者在实验过程中，因为图简便快捷就被封了，要等几天才能使用在百度文库上搜索文档o(╥﹏╥)o55555~~~

最后，由于笔者能力有限，暂时还没想到完整爬取百度文库上的Word和PDF文档。如果你有好的想法和建议，欢迎在评论区交流~

希望大家能看得开心，有所收获！