python 解析爬取某度文库 !

最新推荐文章于 2024-08-26 14:40:08 发布

Python资深程序员

最新推荐文章于 2024-08-26 14:40:08 发布

阅读量996

点赞数

分类专栏： Python 文章标签： Python

本文链接：https://blog.csdn.net/Pythoncxy/article/details/100039268

版权

本文介绍如何利用Python解析和爬取某度文库的内容，包括文档和图片。通过研究手机版网页的URL规律，实现了翻页功能，但目前仍有不完善之处。仅供学习研究，禁止商业或非法使用，下载后需在24小时内删除。

摘要由CSDN通过智能技术生成

原理是利用浏览器切换成手机版找规律(存放在webapp...的url里想研究的可以去看看),主要是翻页比较复杂

目前还不完善能解析大部分某度文库的文档和图片(有图片的就下载)

Python资源共享群：626017123

# -*- coding: utf-8 -*-import requestsimport refrom json import loadsimport osfrom tqdm import tqdmclass Baidu(object):    def __init__(self):         self.headers = {            'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Mobile Safari/537.36'        }        self.rtcs_flag='1'        self.rtcs_ver='3.1'        self.base_url='http://wkrtcs.bdimg.com/rtcs/webapp'        self.base_img='https://wkrtcs.bdimg.com/rtcs/image'        self.flag=True        self.cout=1    def get_info(self,url):        try:            r=requests.get(url,headers=self.headers).content.decode()        except Exception:            print('编码错误,切换编码!')            r = requests.get(url, headers=self.headers).content.decode('gbk')        self.bucketNum=re.findall('"bucketNum":(\d+),',r)[0]        self.sign = re.findall('&sign=(.*?)&',r)[0]        self.rsign=re.findall('"rsign":"(.*?)",',r)[0]        self.md5sum=re.findall('&md5sum=(.*?)&',r)[0]        self.page_list