Python百度文库爬虫之doc文件

最新推荐文章于 2024-04-28 13:25:57 发布
最新推荐文章于 2024-04-28 13:25:57 发布
阅读量7.7k 收藏 38
点赞数 6
分类专栏： Spider 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/V_lq6h/article/details/105800177
版权

Python百度文库爬虫之doc文件

说明：此文件是在爬取txt文件下的基础进行的，因此重复内容会一笔带过，不懂请看前面爬取txt文件链接

对于文件的所有类型，我都会用一篇文章进行说明，链接：

  1. Python百度文库爬虫之txt文件
  2. Python百度文库爬虫之doc文件
  3. Python百度文库爬虫之pdf文件
  4. Python百度文库爬虫之ppt文件
  5. [Python百度文库爬虫之xls文件
  6. Python百度文件爬虫终极版

一.网页分析

doc文件相对于txt文件来说，链接相对简单

以文件链接：https://wenku.baidu.com/view/0ee9fbc585868762caaedd3383c4bb4cf7ecb78f.html?fr=search

from IPython.display import Image
Image("./Images/doc_0.png",width="600px",height="400px")

在这里插入图片描述

分析网页得到，网页的数据链接为：

Image("./Images/doc_1.png",width="600px",height="400px")

在这里插入图片描述

现在我们就是要查找这些数据链接的URL，分析得到这些url在文件url源代码中：

Image("./Images/doc_2.png",width="600px",height="400px")

在这里插入图片描述

现在我们通过正则表达式来获取数据URL:
关于正则表达式的学习：链接

import requests
import json
import re
import json

session=requests.session()

url=input("请输入下载的文件URL地址：")

content=session.get(url).content.decode('gbk')
doc_id=re.findall('view/(.*?).html',url)[0]
types=re.findall(r"docType.*?:.*?'(.*?)'",content)[0]
title=re.findall(r"title.*?:.*?'(.*?)'",content)[0]

请输入下载的文件URL地址： https://wenku.baidu.com/view/0ee9fbc585868762caaedd3383c4bb4cf7ecb78f.html?fr=search

doc_id

'0ee9fbc585868762caaedd3383c4bb4cf7ecb78f'

types

'doc'

title

'爬虫技术是什么'

二.数据URL获取

接下来是最关键数据URL获取，只有正确获取URL,才能采集数据

url_list=re.findall(r'(https.*?0.json.*?)\\x22}',content)
url_list=[addr.replace("\\\\\\/","/") for addr in url_list]

result=""

for url in set(url_list):
    content=session.get(url).content.decode('gbk')
    
    y=0
    txtlists=re.findall(r'"c":"(.*?)".*?"y":(.*?),',content)
    for item in txtlists:
        # 当item[1]的值与前面不同时，代表要换行了
        if not y==item[1]:
            y=item[1]
            n='\n'
        else:
            n=''
        result+=n
        result+=item[0].encode('utf-8').decode('unicode_escape','ignore')

E:\Anaconda\envs\mypython\lib\site-packages\ipykernel_launcher.py:15: DeprecationWarning: invalid escape sequence '\/'
  from ipykernel import kernelapp as app

result=result.replace("\\","")
filename="./Files/"+title+'.docx'

with open(filename,'w',encoding="utf-8") as f:
    f.write(result)
    
f.close()

Image("./Images/doc_3.png",width="600px",height="400px")

在这里插入图片描述

四.函数编程

1.功能进一步完善

提供可以下载[‘txt’,‘doc’]类型的文件

import requests
import json
import re
import os

session=requests.session()

path="F:\\桌面\\Files"

if not os.path.exists(path):
    os.mkdir(path)

def parse_txt1(code,doc_id):
    
    content_url='https://wenku.baidu.com/api/doc/getdocinfo?callback=cb&doc_id='+doc_id

    content=session.get(content_url).content.decode(code)
    md5sum=re.findall('"md5sum":"(.*?)",',content)[0]
    rsign=re.findall('"rsign":"(.*?)"',content)[0]
    pn=re.findall('"totalPageNum":"(.*?)"',content)[0]
    
    content_url='https://wkretype.bdimg.com/retype/text/'+doc_id+'?rn='+pn+'&type=txt'+md5sum+'&rsign='+rsign
    content=json.loads(session.get(content_url).content.decode('gbk'))
    
    result=''

    for item in content:
        for i in item['parags']:
            result+=i['c']
            
    return result

def parse_txt2(content,code,doc_id):
    md5sum=re.findall('"md5sum":"(.*?)",',content)[0]
    rsign=re.findall('"rsign":"(.*?)"',content)[0]
    pn=re.findall('"show_page":"(.*?)"',content)[0]
    
    content_url='https://wkretype.bdimg.com/retype/text/'+doc_id+'?rn='+pn+'&type=txt'+md5sum+'&rsign='+rsign
    content=json.loads(session.get(content_url).content.decode('utf-8'))
    
    result=''

    for item in content:
        for i in item['parags']:
            result+=i['c']
            
    return result

def parse_doc(content):
    
    url_list=re.findall(r'(https.*?0.json.*?)\\x22}',content)
    url_list=[addr.replace("\\\\\\/","/") for addr in url_list]
    
    result=""

    for url in set(url_list):
        content=session.get(url).content.decode('gbk')

        y=0
        txtlists=re.findall(r'"c":"(.*?)".*?"y":(.*?),',content)
        for item in txtlists:
            # 当item[1]的值与前面不同时，代表要换行了
            if not y==item[1]:
                y=item[1]
                n='\n'
            else:
                n=''
            result+=n
            result+=item[0].encode('utf-8').decode('unicode_escape','ignore')
    
    return result
    


def save_file(title,filename,content):
    
    with open(filename,'w',encoding='utf-8') as f:
        f.write(content)
        print("文件"+title+"保存成功")
    f.close()
    

def main():
    
    print("欢迎来到百度文库文件下载：")
    print("-----------------------\r\n")
     
    
    while True:
        try:
            print("1.doc \n 2.txt \n 3.ppt \n 4.xls\n 5.ppt\n")
            types=input("请输入需要下载文件的格式(0退出)：")

            if types=="0":
                break

            if types not in ['txt','doc']:
                print("抱歉功能尚未开发")
                continue


            url=input("请输入下载的文库URL地址：")

            # 网页内容
            response=session.get(url)

            code=re.findall('charset=(.*?)"',response.text)[0]

            if code.lower()!='utf-8':
                code='gbk'

            content=response.content.decode(code)

            # 文件id
            doc_id=re.findall('view/(.*?).html',url)[0]
            # 文件类型
            #types=re.findall(r"docType.*?:.*?'(.*?)'",content)[0]
            # 文件主题
            #title=re.findall(r"title.*?:.*?'(.*?)'",content)[0]

            if types=='txt':
                md5sum=re.findall('"md5sum":"(.*?)",',content)
                if md5sum!=[]:
                    result=parse_txt2(content,code,doc_id)
                    title=re.findall(r'<title>(.*?). ',content)[0]
                    #filename=os.getcwd()+"\\Files\\"+title+'.txt'
                    filename=path+"\\"+title+".txt"
                    save_file(title,filename,result)
                else: 
                    result=parse_txt1(code,doc_id)
                    title=re.findall(r"title.*?:.*?'(.*?)'",content)[0]
                    #filename=os.getcwd()+"\\Files\\"+title+'.txt'
                    filename=path+"\\"+title+".txt"
                    save_file(title,filename,result)
            elif types=='doc':
                title=re.findall(r"title.*?:.*?'(.*?)'",content)[0]
                result=parse_doc(content)
                filename=path+"\\"+title+".doc"
                save_file(title,filename,result)
                
        except Exception as e:
            print(e)


if __name__=='__main__':
    main()

欢迎来到百度文库文件下载：
-----------------------

1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



请输入需要下载文件的格式(0退出)： txt
请输入下载的文库URL地址： https://wenku.baidu.com/view/9d0ed76fae45b307e87101f69e3143323968f5e4.html?fr=search


文件c语言编写网络爬虫保存成功
1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



请输入需要下载文件的格式(0退出)： doc
请输入下载的文库URL地址： https://wenku.baidu.com/view/0ee9fbc585868762caaedd3383c4bb4cf7ecb78f.html?fr=search


E:\Anaconda\envs\mypython\lib\site-packages\ipykernel_launcher.py:69: DeprecationWarning: invalid escape sequence '\/'


文件爬虫技术是什么保存成功
1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



请输入需要下载文件的格式(0退出)： doc
请输入下载的文库URL地址： https://wenku.baidu.com/view/f6ae76c8bf1e650e52ea551810a6f524cdbfcb64.html?fr=search


文件保存成功
1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



请输入需要下载文件的格式(0退出)： 0

由于上传限制，演示过程链接：

https://www.yuque.com/lq6h/yil9xt/nlzoaq

Image("./Images/doc_5.png",width="600px",height="400px")

在这里插入图片描述

五.pyinstaller打包

这次添加了下载doc文件的功能，本次就不打包了。基本功能与下载txt相似，等能下载全部文件之后再进行打包

V_lq6h
关注
  • 6
    点赞
  • 踩
  • 38
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Python爬虫-爬取文档内容，如何去掉文档中的表格，并保存正文内容
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
09-07 594
本文是该专栏的第58篇，后面会持续分享python爬虫干货知识。做过爬虫项目的同学，可能或多或少爬取过文档数据，比如说“政务网站，新闻网站，小说网站”等平台的文档数据。爬取文档数据，笔者这里就不过多详述，而本文，笔者将主要介绍在爬取文档数据的过程中，遇到文档的正文内容含有表格的情况要怎么去除掉表格，并将正文保存。具体实现思路，跟着笔者直接往下看正文详细内容。（附带完整代码）在目标正文中，假设我们想要的数据是正文的文本数据，但是正文中却含有表格，我们想要获取文本的正文数据，并将正文中的表格去除掉，要怎么做呢？
百度文库爬虫(一)TXT
12-21
【百度文库爬虫系列——TXT文档下载】 在IT领域，网络爬虫是一种常见的技术，用于自动抓取互联网上的信息。对于Python开发者来说，利用爬虫技术可以方便地获取到像百度文库这样的在线文档分享平台上的内容。本文将...
Python爬虫----爬取百度文库中的文章
bagell的博客
10-25 1083
下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。，都是我自己学习时整理的，希望可以帮到你，一起加油！😝有需要的小伙伴，可以。
用python爬取Baidu文库全格式内容附完整项目、代码（request，selenium，C#winform......）
zll_hust的博客
07-01 3007
背景介绍 这个学期上了Python课，最后的结课方式是大作业的形式。 考虑到现在大部分小伙伴使用Python主要因为爬虫，那么为了更好地帮助大家巩固爬虫知识，加深对爬虫的理解，我们小组选择了爬取百度文库作为我们的大作业。 现在将我们的大作业分享出来，希望能够帮助到大家。 概要 TXT,DOCX爬取与保存（文本格式） PPT,PDF爬取与保存（图片格式） 简单的GUI制作 通过本文你将收获 基本的爬虫技能 DOCX,Image库的使用 废话不多说，我们开始。 TXT,DOCX爬取与保存 在爬取任何东
10分钟教你用Python爬取Baidu文库全格式内容(1)
最新发布
2201_75604341的博客
04-28 505
但是为了美观起见，我们在这里选择使用python-docx库将内容保存为docx文件。有了之前的经验教训，在爬取的时候我们首先就尝试了使用爬取TXT,DOCX的方法，尝试是否可以爬到内容。fr=search’res.text很可惜的是，我们并没有访问到。原因仔细想想也很简单，在百度搜索的时候，直接搜索是搜不到PPT或者PDF的内容的。那么很显然，PPT和PDF是通过异步的方法进行内容加载的。
python爬虫爬取百度文档，2024年最新小米面试题算法
2401_84182507的博客
04-10 770
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。“page”😦.*?
python爬虫爬取百度文档
weixin_51575130的博客
12-07 1556
打开爬取到的图片内容为想要的文档，后续可通过图片转文字获取详情文档。1.获取文档内容，百度文库的文档大多是图片形式。这里面就有所需的所有图片内容。浏览器中搜索找到图片的来源。2.导入数据模块请求数据。3.将图片文件爬取下来。
Python爬虫神器：Beautiful Soup指南，轻松解析网页数据！
Python966的博客
10-31 3505
Beautiful Soup（简称BS4）是一种强大而灵活的HTML和XML解析库，广泛用于Python爬虫和数据采集中。
爬虫文档
Obgo_6的博客
09-05 1347
一、爬虫原理 1、http协议 超文本传输协议(HTTP)是一种通信协议，它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器。 2、http请求 [外链图片转存失败(img-4zvoifu2-1567686176832)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1565832939762...
百度文库爬虫(二)PPT下载
01-20
百度文库爬虫(一)TXT下载 百度文库爬虫(二)PPT下载 具体实现 问题分析 在百度文库随意搜索一篇ppt文档，如下图： 通过Chrome抓包工具检查元素 很容易发现百度文库对于ppt文档的展示都是图片形式的，并且图
百度文库提取工具
09-28
百度文库提取工具
java爬虫，爬取本地html文件，提取分析出文本
03-31
java爬虫，爬取本地html文件，提取分析出文本 Document doc2 = Jsoup.parse(html); Elements trs = doc2.select("table").select("tr"); for(int i = 0;i<trs.size();i++){ Elements tds = trs.get(i).select("td"); for(int j = 0;j<tds.size();j++){ String text = tds.get(j).text(); if (j % 2 == 0) { System.out.print(text); }else{ System.out.println(text); } } }
百度文库文档提取说明文档
12-11
百度文库文档提取说明文档
doc文档python爬虫源码
09-17
doc文档python爬虫源码 doc_crawler 可以从给定的 URL 递归地探索网站并检索 后代页面，遇到的文档文件（默认：PDF、ODT、DOC、XLS、ZIP…） 基于正则表达式匹配（通常针对其扩展名）。文件可以是 在标准输出上列出...
python爬虫爬取百度文库（带图形化界面）
02-08
Python爬虫爬取百度文库是一项常见的数据抓取任务，特别是在知识分享和研究领域。本文将详细介绍如何使用Python编写一个带有图形用户界面（GUI）的爬虫，以便更直观、方便地进行操作。 首先，我们需要了解Python...
81个Python爬虫源代码+九款开源爬虫工具.doc
12-31
Python爬虫技术是数据获取和分析领域的重要工具，尤其在互联网信息海量的今天，爬虫可以帮助我们自动化地从网站上抓取大量数据。以下是一些关于Python爬虫的知识点，以及提到的一些开源爬虫工具： 1. **Python爬虫...
电枢公式
qq_26074053的博客
02-10 3614
电枢公式 电枢公式 问题 12槽电机中，为什么3与9是同绕的，为什么4与8是同绕的，是什么性质让他们是同绕的，为什么5是全可达的，是不是质数都是全可达的？电枢公式会从零到1清晰的解释这几个问题 电枢公式用于处理等步周期问题 电枢公式讨论的是循环等步转圈问题。循环等步就是线性绕法，这种绕法最常用也最简单。电枢公式主要讨论的就是线性绕法下的 同绕关系, 阶, 可达 以及一些同绕恒等式，至于非线性绕法会使问题变得复杂与难以处理,分析中非线性问题常常使用线性近似的方式处理，但数论中极少出现近似的词。第t步绕
百度文库爬虫(三)DOC/PDF/XLS原格式下载
M010K的博客
04-06 6557
文章目录百度文库爬虫(三)DOC/PDF/XLS原格式下载写在最前简介系列文章具体实现Step 1——问题分析Step 2——开始寻找json数据（~~脱发~~）Step 3——全部json数据的获取与图片的获取Step 4——构造本地html文件，并将html文件转换生成pdfStep 4.1——接下来就是要分析一下json数据是被怎么处理的Step 4.2——使用python复现这一段js代码...
python百度文库爬虫
07-20
您好！关于百度文库的爬虫，我可以为您提供一些基本的思路和步骤。请注意，爬取网站内容需要遵守相关法律法规和网站的使用条款，确保合法使用。 首先，您需要安装Python的相关库，如requests、BeautifulSoup等。您可以使用以下命令安装它们： ``` pip install requests pip install beautifulsoup4 ``` 接下来，您可以使用requests库发送HTTP请求，获取百度文库的页面内容。可以使用以下代码片段作为示例： ```python import requests url = 'https://wenku.baidu.com/...' response = requests.get(url) content = response.text ``` 注意，`url`变量需要替换为您要爬取的具体文档的URL。 获取页面内容后，您可以使用BeautifulSoup库来解析HTML，并提取您想要的信息。例如，如果您想要获取文档中的标题和正文内容，可以使用以下代码： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(content, 'html.parser') title = soup.find('h1').text content = soup.find('div', class_='doc-reader').text ``` 请注意，上述代码假设文档的标题是`h1`标签，并且正文内容位于类名为`doc-reader`的`div`标签内。您需要根据实际情况做相应的调整。 最后，您可以将提取到的信息保存到文件中或进行进一步处理，具体取决于您的需求。 需要注意的是，爬取网站内容可能涉及到反爬虫机制，为了防止被封禁或限制访问，您可以考虑合理设置请求头、使用代理IP等方式进行反反爬虫处理。 希望以上信息对您有所帮助！如果您有任何问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值