百度文库爬虫，Python爬取百度文库内容输出word文档low版

一个比较简单的文库爬虫，所以带来的后遗症也很多明显，比较low比，只能爬取word，txt，ppt别想了，同时不能有折叠的内容，当然vip的内容也不要妄想了，百度吃相还是真难看，有钱真的可以为所欲为！

关键点就在于，协议头，直接用爬虫的协议头才能获取到内容！

header = {'User-agent': 'Googlebot'}

而想要输出为word文档，那就需要使用到 docx 库！

当然格式还是差强人意，有总比没有强吧，你说是吧？！

pip安装 docx 库

pip install python_docx

文档参考：https://python-docx.readthedocs.io/en/latest/

参考代码：

def get_word(data):
    document = Document()
    document.add_heading(data[0])

    for detail in data[1]:
        document.add_paragraph(detail) #添加段落


    document.save(f'{data[0]}.docx')

附完整代码参考：

#百度文库采集
#20200803微信：huguo00289
#https://wenku.baidu.com/view/312ce9da0129bd64783e0912a216147916117e27.html
# -*- coding: UTF-8 -*-

import requests,re
from lxml import etree
from docx import Document

def get_detail(url):
    #url = 'https://wenku.baidu.com/view/312ce9da0129bd64783e0912a216147916117e27.html'
    header = {'User-agent': 'Googlebot'}
    response = requests.get(url , headers = header).content.decode('gbk')
    #print(response)
    title_ze=r'<title>(.+?)_百度文库</title>'
    div_ze=r'<div class="bd doc-reader">(.+?)<div class="aside">'
    title=re.findall(title_ze,response,re.S)[0]
    div=re.findall(div_ze,response,re.S)[0]
    div=etree.HTML(div)
    details=div.xpath('//div//text()')
    #detail='\n'.join(details)
    data=title,details
    print(data)
    return data



def get_word(data):
    document = Document()
    document.add_heading(data[0])

    for detail in data[1]:
        document.add_paragraph(detail) #添加段落


    document.save(f'{data[0]}.docx')

if __name__=='__main__':
    url="https://wenku.baidu.com/view/cb02b4a91837f111f18583d049649b6648d7092e"
    text=get_detail(url)
    get_word(text)

      

微信公众号：二爷记

不定时分享python源码及工具