python 爬取道客巴巴文档_GitHub - UnlightedOtaku/doc88Download: 不让爷下载,爷偏要下 python给爷爬使用python下载道客巴巴文件并自动合并为pdf...

doc88Download

不让爷下载,爷偏要下 python给爷爬

使用python下载道客巴巴文件并自动合并为pdf

使用前请先确保安装了必要的库:

pip install PyMuPDF

pip install requests

没有python的可以直接下exe,

不保证可以运行

代码很丑 只考虑了怎么有python复现js逻辑没注意别的

流程:访问构造的url获取base64编码后的值 将其解码 获取gif链接 下载gif 拼接gif为pdf

爬取地址来源电脑端不太好爬

爬移动端 把网址的www改成m 再把UA改成移动端的(这一步浏览器不是很好用 我用的burp改的)

只有一个js 文件(太棒了)

从js中找图片的地址 以下为大致过程 可不看

查找img 没有src

查找src 找到

var gif_url = gif_host+"/get-"+pageinfo.url+".gif";

$('#page-index-'+page).attr('src',gif_url);

再找gif_host和pageinfo.url

pageinfo来自pageinfos[n]

pageinfos = JSON.parse(struct);

var struct = jsonRes.struct;

var jsonRes = JSON.parse(base64Str);

var base64Str = m_decodeBase64(data);

一路找下来

m_decodeBase64是个变体base64编码(想办法把这个js代码自己转换为python代码)

data为ajax返回数据

url = '/doc.php?act=info&p_code='+3995949474894+'&key=3854933de90d1dbb321d8ca29eac130a&v=1'

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python可以使用多个库来取道巴巴网站的js内容,其中比较常用的库包括urllib、requests和beautifulsoup等。 首先,我们可以使用urllib库中的urlopen函数来打开指定网页的链接,并读取该网页的内容。可以使用指定的url打开道巴巴网页。接下来,我们需要解析网页中的js内容。 在这里,我们可以使用beautifulsoup库来解析网页的内容,并提取出我们需要的js内容。beautifulsoup提供了一种简单的方法来处理html或xml文件,并从中提取我们需要的信息。我们可以使用beautifulsoup的find_all函数找到所有的js标签,并从中提取出我们需要的内容。 然后,我们可以使用requests库来发送GET请求,并获取返回的内容。requests库提供了一种方便的方法来发送请求和处理响应。我们可以使用该库的get函数发送GET请求,并指定请求的url。然后,我们可以使用返回的响应对象的content属性来获取返回的内容。可以将返回的内容保存到一个文件中,以便之后使用。 最后,我们可以使用Python文件操作函数来保存获取到的js内容。可以使用open函数打开一个文件,并将js内容写入到文件中。 综上所述,我们可以使用Python的urllib、requests和beautifulsoup等库来取道巴巴网站的js内容。首先使用urllib库打开指定url,然后使用beautifulsoup库解析网页内容,并提取出js内容,接着使用requests库发送GET请求,获取返回的内容,并保存到一个文件中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值