蓝奏云批量下载 with urllib3 — Python39

于 2021-09-16 16:48:05 发布
阅读量1.8k 收藏 5
点赞数
文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_43411921/article/details/120267674
版权
万能的群友经常会发蓝色链接，其中有一些蓝色的蓝奏云，看见那么多学习资料实在是馋得很，必须全部拿下。
话不多说，直接开始。

index


0.引用包

我这里用到了urllib3，现在的主流还是requests和urllib，各有各的特点，就目前我所需要的工具来说urllib3可以向下兼容，但相对requests来说缺少cookie管理。

import urllib3				# 主角
from lxml import etree		# 用于获取xpath
import re					# xpath取不到的地方需要正则
import json					# 用于将js字典转换为python字典
import os					# 用于获得系统路径


1.分析

需要解析的URL如下图：
在这里插入图片描述
我们先用GET方法请求一下

# 实例化产生请求对象
http = urllib3.PoolManager(timeout=4.0)
# 构造请求包
url = '这里是需要解析的URL地址'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.3',
    'referer': url
}
# get请求指定网址
resp = http.request('GET', url, headers=headers)
# 编码/解码
html = resp.data.decode('utf-8')

获得了该网页的源代码并保存到html中，现在很多网页都是这种动态式的，一堆数据发下来让你的浏览器自行处理，现在我们找到主要目标 下载链接 的构建函数：
在这里插入图片描述
对照一下，以上代码的执行效果如下：
在这里插入图片描述
现在回到函数，整个函数是通过msg的参数来运行的：
在这里插入图片描述
那么msg来自哪里呢，通过(初步)学习JS以及(立志)多年爬虫经验，可以知道，这个ajax方法通过post到filemoreajax.php所获取的包作为msg传递给函数，然后函数将数据整理好呈现出来。知道了这个行为，我们就可以跳过浏览器直接去这个地址拿数据。
在这里插入图片描述


2.过程

接下来对POST工作做一下前期铺垫：
首先需要构造data，上面的data里面有三个值(pgs / ibhkhh / ihfwja)为变量，可以从script标签开头找到，fid和uid虽然不是变量，但每个网页肯定会变，也要提取。
在这里插入图片描述
其余使用re进行提取，并构造包体，这里的 ‘t’ 和 ‘k’ 的变量名都是6位随机数，因此提取6位数开头的分号中的数据，pgs是页码，我们可以手动改，不用提取。

# 用re提取参数
title = re.findall(r'<title>([\w\W]+?)</title>', html, re.MULTILINE)	# 提取文件名，非post参数
# pgs = re.findall(r'pgs =([\d]*);', html, re.MULTILINE)
fid = re.findall(r'\'fid\':([\w]+?),', html, re.MULTILINE)
uid = re.findall(r'\'uid\':\'([\w]+?)\',', html, re.MULTILINE)
params = re.findall(r'var [\w]{6} = \'([\w]+?)\';', html, re.MULTILINE)
# 构造fields
fields = {
    'lx': 2,
    'fid': int(fid[0]),
    'uid': uid[0],
    'pg': 1,
    'rep': '0',
    't': params[0],
    'k': params[1],
    'up': 1,
}

铺垫完成，开始进行POST，转个码，然后转换为python格式的字典：

# post文件目录接口
indexApi = 'https://www.lanzoui.com/filemoreajax.php'
indexRes = http.request('POST', indexApi, headers=headers, fields=fields)
indexData = indexRes.data.decode('unicode_escape')
# 转换为python字典
index = json.loads(indexData)

整理后的数据存在了index中，‘text’ 里面的 ‘id’ 就是我们需要获取的下载地址：
在这里插入图片描述
在这里插入图片描述
可以列个表，更加直观：

# 列出文件
print(title[0])
print('链接\t\t文件名\t\t大小\t\t时间')
for i in range(len(index['text'])):
    print(index['text'][i]['id'], end='\t\t')
    print(index['text'][i]['name_all'], end='\t\t')
    print(index['text'][i]['size'], end='\t\t')
    print(index['text'][i]['time'])

在这里插入图片描述
项目已经有了重大进展，但还没有完成，以最上面的链接为例：
在这里插入图片描述
可以发现三个按钮用的是同一个链接XD，这个链接才是下载地址，用xpath取出来GET一下(注意，GET的时候headers要带上accept-language参数，不然不给过，这个就很奇怪了)

downUrl = 'https://www.lanzoui.com/%s' % ibkvJtkvykj
downRes = http.request('GET', downUrl, headers=headers)
# 编码/解码
downData = downRes.data.decode('utf-8')
# 将data数据作为HTML选择器
selector = etree.HTML(downData)
# 下载按钮用的是iframe,所以还要再get一次真正的下载地址
downLink = selector.xpath('/html/body/div[3]/div[2]/div[4]/iframe/@src')[0]
# 请求iframe原链接
url2 = 'https://www.lanzoui.com%s' % downLink
headers2 = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
   'Accept-Language': 'zh-CN,zh;q=0.9',
   'referer': url2
}
res2 = http.request('GET', url2, headers=headers2)
data2 = res2.data.decode('utf-8')

从data2中可以看到，下载连接就在ajaxm.php中，老样子构建并POST
在这里插入图片描述

# sign参数会改变,要先得到sign
sign = re.findall(r'\'sign\':([\w]+?),\'ves\'', data2, re.MULTILINE)[0]
ajaxdata = re.findall(r'var ajaxdata = \'(\??[\w]+?)\';', data2, re.MULTILINE)[0]
postsign = re.findall(r'var %s = \'([\w]+?)\';' % sign, data2, re.MULTILINE)[0]
websignkey = re.findall(r'\'websignkey\':\'([\w]+?)\'', data2, re.MULTILINE)[0]
# 构建fields
fields2 = {
    'action':'downprocess',
    'signs':ajaxdata,
    'sign':postsign,
    'ves':1,
    'websign':'',
    'websignkey':websignkey 
    }
# 这次POST得到真正的下载链接
realUrl = 'https://www.lanzoui.com/ajaxm.php'
realRes = http.request('POST', realUrl, headers=headers2, fields=fields2)
realData = realRes.data.decode('utf-8')
realLink = json.loads(realData)

将dom与url组装起来就是真正的下载地址了
在这里插入图片描述

# 组装链接
downloadLink = realLink['dom'] + '/file/' + realLink['url']
# 然后GET
fin = http.request('GET', downloadLink, headers=headers2)

现在得到了针对浏览器的下载链接，如果要进一步偷懒则需要一点加工
这里的data实际上就是二进制流，可以直接储存为文件
在这里插入图片描述

# 先获取当前py文件位置
cd = os.getcwd()
# 如果当前位置没有该文件夹则创建一个
if not os.path.exists(title[0]) :
    os.mkdir(cd + '\\' + title[0])
# 创建 当前位置=>标题=>文件名 然后将获取的二进制数据写入
with open('%s\\%s\\%s' % (cd, title[0], index['text'][0]['name_all']), "wb") as file:
    file.write(fin.data)
    print('已下载\t%s' % index['text'][0]['name_all'])


3.整理

接下来进入最后一步，写一个循环进行批量下载。循环就简单了，把单个下载线程括起来变量改掉就完事了。
在这里插入图片描述
跑一下
在这里插入图片描述
alright，结束战斗
在这里插入图片描述

4.完整代码

import urllib3
from lxml import etree
import re
import json
import os

def getIndex(lanzoui):
    global title
    global index
    global headers
    url = lanzoui
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.3',
        'referer': url
    }
    resp = http.request('GET', url, headers=headers)
    html = resp.data.decode('utf-8')
    # pgs = re.findall(r'pgs =([\d]*);', html, re.MULTILINE) 提取出来没有用,我们手动去翻页
    title = re.findall(r'<title>([\w\W]+?)</title>', html, re.MULTILINE)
    fid = re.findall(r'\'fid\':([\w]+?),', html, re.MULTILINE)
    uid = re.findall(r'\'uid\':\'([\w]+?)\',', html, re.MULTILINE)
    params = re.findall(r'var [\w]{6} = \'([\w]+?)\';', html, re.MULTILINE)
    fields = {
        'lx': 2,
        'fid': int(fid[0]),
        'uid': uid[0],
        'pg': 1,
        'rep': '0',
        't': params[0],
        'k': params[1],
        'up': 1,
    }
    indexApi = 'https://www.lanzoui.com/filemoreajax.php'
    indexRes = http.request('POST', indexApi, headers=headers, fields=fields)
    indexData = indexRes.data.decode('unicode_escape')
    index = json.loads(indexData)
    print(title[0])
    print('链接\t\t文件名\t\t大小\t\t时间')
    for i in range(len(index['text'])):
        print(index['text'][i]['id'], end='\t\t')
        print(index['text'][i]['name_all'], end='\t\t')
        print(index['text'][i]['size'], end='\t\t')
        print(index['text'][i]['time'])

def downFiles():
    for i in range(len(index['text'])):
        downUrl = 'https://www.lanzoui.com/%s' % index['text'][i]['id']
        downRes = http.request('GET', downUrl, headers=headers)
        downData = downRes.data.decode('utf-8')
        selector = etree.HTML(downData)
        downLink = selector.xpath('/html/body/div[3]/div[2]/div[4]/iframe/@src')[0]
        url2 = 'https://www.lanzoui.com%s' % downLink
        headers2 = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
            'Accept-Language': 'zh-CN,zh;q=0.9',
            'referer': url2
        }
        res2 = http.request('GET', url2, headers=headers2)
        data2 = res2.data.decode('utf-8')
        sign = re.findall(r'\'sign\':([\w]+?),', data2, re.MULTILINE)[0]
        ajaxdata = re.findall(r'var ajaxdata = \'(\??[\w]+?)\';', data2, re.MULTILINE)[0]
        postsign = re.findall(r'var %s = \'([\w]+?)\';' % sign, data2, re.MULTILINE)[0]
        websignkey = re.findall(r'\'websignkey\':\'([\w]+?)\'', data2, re.MULTILINE)[0]
        fields2 = {
            'action':'downprocess',
            'signs':ajaxdata,
            'sign':postsign,
            'ves':1,
            'websign':'',
            'websignkey':websignkey
            }
        realUrl = 'https://www.lanzoui.com/ajaxm.php'
        realRes = http.request('POST', realUrl, headers=headers2, fields=fields2)
        realData = realRes.data.decode('utf-8')
        realLink = json.loads(realData)
        downloadLink = realLink['dom'] + '/file/' + realLink['url']
        fin = http.request('GET', downloadLink, headers=headers2)
        cd = os.getcwd()
        if not os.path.exists(title[0]):
            os.mkdir(cd + '\\' + title[0])
        with open('%s\\%s\\%s' % (cd, title[0], index['text'][i]['name_all']), "wb") as file:
            file.write(fin.data)
            print('已下载\t%s' % index['text'][i]['name_all'])
    print('已完成所有下载')

http = urllib3.PoolManager(timeout=4.0)

if __name__ == '__main__':
    getIndex('https://www.lanzoui.com/xxxxxxx')	# 这里是网址
    downFiles()		# 这里是下载函数，可以考虑做一个中断控制，我用不到就不做了


# -*- coding: utf-8 -*-
# @Description 	: 蓝奏云是个好网站，下载请不要泛滥，良好的互联网环境需要我们共同来维护
# @Date 		: 2021/09/10
# Copyleft © 2021 Ursa
西伯利亚的正方形
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
蓝奏云批量下载_搜索工具.zip
07-16
其实该云盘就是一个百度网盘的中转站，所有文件上传和下载都是存载百度网盘。 云盘作者自己应该是开了很多个VIP帐号来存放用户上传的文件,但却不支持批量下载。 由于服务器限制并发数，大了就认为你是DDOS, 封IP，好像是一天。所以软件使用单线程获取下载地址。 批量的话大概1秒一个，下载速度不限制。你下面有大就能下多快 目前只支持无密码的，有密码的稍后更新 更新记录： 2019/04/01 16:09 加入支持密码连接 2019/04/26 11:51 加入搜索功能 2019/04/26 11:51 加入二维码（供手机扫一扫下载） 2019/04/26 11:51 修复某些BUG。 2019/05/20 9:58 修正过滤词BUG。 2019/06/21 12:515 修正某些BUG，百万数据优化
【实用软件】蓝奏云批量下载工具
枫叶小屋
04-05 8244
软件介绍 蓝奏是个非主流网盘，老司机们用的比较多， 官方限制最大上传文件为100M，不能分享视频等大文件，限制了它的用处。 一般应用于分享软件，小型文档，除了下载页面有广告之外，下载速度很快，没其他明显的缺点。 一些软件破解组织使用蓝奏网盘制作软件发布页，更新很快，内容丰富。 于是有网友开发了一款蓝奏云批量下载的工具，可以批量下载蓝奏网盘内容。 软件功能 支持解析获取有密码和无密码的蓝奏云真实地址 采用多线程解析和下载 支持对指定范围页数进行解析 解析设置参数均可自定义 自动更新 下载地
蓝奏云批量下载修复版 v0.3
qq_43293214的博客
03-10 4766
蓝奏云可以说的上是一款下载速度快且小巧的小工具，找电子资源的时候都可以随意下载完成，但是由于有的电子资源文件比较多，又因为蓝奏云没有批量下载这一项功能。因此小编今天为大家带来了蓝奏云批量下载器，是该作的0.3修复版，通过它用户可以批量下载蓝奏云分享的文件夹下的所有文件，若分享的文件列表中存在有文件列表，软件会自动忽略该文件列表，只需手动将下载地址复制到软件中进行解析即可，然后选择你想要的文件就可以进行批量下载了，非常的方便。不管文件有多少都可以轻松下载，下载速度也是非常的快，让广大用户可以秒速下载蓝奏云资源
蓝奏云批量下载，批量上传，目录下载等
03-30
蓝奏云批量下载，批量上传，目录下载等
蓝奏云外链批量下载软件
php源码
02-09 926
介绍 蓝奏云外链批量下载软件，需要.NET 4.7.2，打开软件选择下载器，推荐用默认下载器。输入分享链接，点击下载，默认下载目录在同目录Download文件夹! 使用方法 1、输入蓝奏云外链(一行一条外链) 2、右键选择“解析外链” 3、解析完成后，右键选择“导出表格”或“下载直链” 4、蓝奏云直链非永久直链，随用随解析，避免直链超时失效 下载链接 http://www.bytepan.com/gG3MJy61lUK 图片 ...
【Python】Python的urllib模块、urllib2模块批量进行网页下载文件
09-21
主要介绍了Python的urllib模块、urllib2模块批量进行网页下载文件，就是一个简单的从网页抓取数据、下载文件的小程序，需要的可以了解一下。
python3 中使用urllib问题以及urllib详解
01-19
查了一下资料是 python3 的 urllib 不会自动导入其under层的包，需要手动导入。 import urllib import urllib.parse import urllib.request 再次使用即可成功。 urllibe 是 python3 中将中文 urlencode 编码使用...
urllib3 最新版本爬虫 whl安装包 python2-3可用
03-08
urllib3 最新版本爬虫 whl安装包 python2-3可用 32位 可用
python基于urllib实现按照百度音乐分类下载mp3的方法
09-22
主要介绍了python基于urllib实现按照百度音乐分类下载mp3的方法,涉及Python使用urllib模块操作页面元素的相关技巧,需要的朋友可以参考下
python urllib3
04-19
python urllib3 安装文件包
蓝奏云 | 蓝奏云客户端 | 蓝奏网盘 GUI版本-python
06-18
蓝奏云 | 蓝奏云客户端 | 蓝奏网盘 GUI版本
urllib3 库
07-29
Urllib3是一个功能强大，条理清晰，用于HTTP客户端的Python库。许多Python的原生系统已经开始使用urllib3。Urllib3提供了很多python标准库urllib里所没有的重要特性
python_urllib3
04-17
urllib3 is a python lib 1.线程安全 2.连接池 3.客户端SSL/TLS验证 4.文件分部编码上传 5.协助处理重复请求和HTTP重定位 6.支持压缩编码 7.支持HTTP和SOCKS代理
python模块urllib3.zip
03-22
使用Python 3.x版本运行py文件时报错 No module named 'urllib3' 一开始参照网上的安装方法通过pip来安装，未成功pip install urllib3 后面找到了这个文件，分享给大家。 使用方法是下载解压后，cmd里切换到解压后的文件夹，输入python setup.py install就可以了
urllib3-1.23.tar
10-08
Urllib3是一个功能强大，条理清晰，用于HTTP客户端的Python库，许多Python的原生系统已经开始使用urllib3。Urllib3提供了很多python标准库里所没有的重要特性
蓝奏云批量下载v0.3修复版
字节网盘SEO工具
02-04 1461
简介： 这是一款可以批量下载蓝奏云分享的文件夹下的所有文件的小工具，之前找电子书资源的时候，网友分享的蓝奏云地址，里面的文件有点多，但是，蓝奏云并没有批量下载功能，我又不想一个个点击下载，便是产生了这款软件。 下载地址： http://www.bytepan.com/nc5bbaD60hX ...
最新！使用Python爬取蓝奏云文件下载直链并下载，支持批量爬取，已封装为函数，可直接使用(含注释、库的使用解释)
qq_45429426的博客
08-20 7868
程序说明 本程序不借助第三方网站来获取蓝奏云直链，那样没意思，且程序流程已经过分块化处理(多函数)，方便理解和阅读。程序使用了requests、re、lxml库，来请求、解析数据。具有一定学习价值，对Python爬虫技术的熟悉度有益 程序总计170行（含空格、换行）；5个自创函数 ； 调用三个库 本文章完全原创，未经许可，不允转载！！！ 原作者链接：https://blog.csdn.net/qq_45429426 原作者名称：漫游感知 程序 import requests
无限存储空间的蓝奏网盘你还不用？使用Python，直接获取直链！Python使用Requests和BS4实现蓝奏云直链解析与下载
热门推荐
ZesenYuan的博客
06-27 18万+
在很多时候，都会使用到程序自主更新功能，那么今天我们就用蓝奏云实现一个Python程序的自主更新（当然，今天只是完成请求蓝奏云的直链地址） 文章目录思路解析代码实现 思路解析 我们可以首先申请一个蓝奏云的账号，在这里就不过多地阐述，在这里了，我们可以使用我这里的一个网址来进行解析 cookies地址 我们要获取的就是这个红色bottom的链接地址 我们可以打开开发者模式，便可以看到这个iframe标签 它把我们指引到另外一个链接地址 这里便是这一个红色bottom的真实位置 当我们惦记这个主要.
python3 urllib网页下载
heheyangxyy的博客
02-04 1305
网页下载函数 环境：python3，模块：python自带模块urllib import urllib.request import urllib.error def download(url,user_agent='xxx',num_retries): headers = {'User-agent':user_agent} #设置默认用户代理 request = urllib.request.Request(url=url,headers=headers) #添加请求头参数
vmware安装包下载百度云
最新发布
05-01
首先，我们需要在百度搜索栏输入“vmware下载”，然后选择适合自己电脑系统版本的vmware下载链接。在打开的下载页面中，我们可以看到两种下载方式，分别是“快速下载”和“普通下载”。对于需要快速下载的用户，可以选择“快速下载”进行下载；对于对下载速度要求不高的用户，可以选择“普通下载”进行下载。 在下载完安装包后，我们需要在本地安装程序目录中找到下载的安装包并双击打开。由于安装步骤可能因版本不同而有所不同，因此在此不做详细介绍。不过，一般来说，我们需要依次点击“下一步”、“同意”、“安装”等按钮进行安装。在安装过程中，除了把握好每个步骤的选择外，我们还需要注意相关的安全提示。 总之，通过在百度云上下载vmware安装包，我们可以轻松地获取这个虚拟机软件并安装在自己的电脑上。百度云下载速度快、稳定，同时也为用户提供了较大的下载空间，对于需要频繁下载软件等的用户来说，这是一个不错的选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值