python爬虫爬取网页歌曲音频是爬取的什么文件_Python3爬取某页面音频文件

目的？

这是一个python练习，通过这个练习，我们可以了解：

使用python发起http请求

python的文件操作

python的数据库操作

一、分析列表页面

首先分析一下某网站的专辑页面要素，想办法获取页面红色列表信息数据。理论上，每个音频大致包括：id、标题、音频地址、更新时间等等

在浏览器调试工具中，查看一下http请求。大致找一下，看看能不能找到相应的数据。看看是直接页面生成的，还是有额外的api获取数据

在network分析中，快速浏览一下所有的http请求，查看响应的结果，很快就能找到

在请求中，我们发现了一个请求/revision/album/v1/getTracksList?albumId=18521227&pageNum=1,对就它了

结合页面的情况，还有响应的结果，我们应该能猜到：albumId应该就是专辑ID，而pageNum应该就是页面了，我们验证一下

没有错，这个就是列表信息的请求url了。json响应结果中，我们找比较重要的信息：trackId-音频ID,title-音频标题,url-音频播放地址

列表信息来源应该搞清楚了，我们接着看音频播放的时候是否能找到音频来源？

二、分析音频播放页面

打开单个音频播放地址后，跟列表页面一样，我们找单个音频信息来源。

应该能找到/revision/play/v1/audio?id=247457234&ptype=1

这个请求响应结果里面的src就是音频地址了

三、编码实现

获取专辑列表方法

1、使用requests发起http请求

2、获取列表信息api返回的json结果，根据自己需要, 把列表信息保持到 list 中

3、方法返回track信息的list

# 获取专辑列表

# album_id 专辑ID

# page_num 页码

def get_track_list(album_id, page_num):

url = "https://www.ximalaya.com/revision/album/v1/getTracksList?albumId=" + str(album_id) + "&pageNum=" + str(

page_num)

track_list = []

resp = requests.get(url, headers=header)

result = resp.json()

if result['ret'] == 200:

tracks = result['data']['tracks']

for tack in tracks:

track_list.append(

{'index': tack['index'], 'play_count': tack['playCount'], 'duration': tack['duration'], 'trackId': tack['trackId'], 'title': tack['title'],

'url': tack['url']})

# 加入字典(暂时没有使用)

track_map[tack['trackId']] = tack['title']

return track_list

获取单个音频信息方法

1、传入音频的id

2、使用requests发起http请求，获取单个音频的json信息

3、方法返回音频实际的http源文件地址

# 获取音频地址

def get_track_url(track_id):

url = "https://www.ximalaya.com/revision/play/v1/audio?id=" + str(track_id) + "&ptype=1"

resp = requests.get(url, headers=header)

result = resp.json()

if result['ret'] == 200:

track_audio_play = result['data']['src']

if len(track_audio_play) > 0:

return track_audio_play

保存http音频文件信息到本地

1、使用requests发起http请求，获取单个音频的流

2、保存到响应的本地路径

#下载音频文件

def download_track_audio(url, file):

resp = requests.get(url, headers=header, stream=True)

with open(file, "wb") as f:

for data in resp.iter_content(chunk_size=1024):

if data:

f.write(data)

例子运行&保存信息到数据库

try:

dir = "H:/Temp"

# 连接 mysql 的方法：connect('ip','user','password','dbname')

con = mdb.connect(host='127.0.0.1', user='root', passwd='123456', db='py_demo', use_unicode=True, charset="utf8")

# 所有的查询，都在连接 con 的一个模块 cursor 上面运行的

cur = con.cursor()

# 执行一个查询

# cur.execute("SELECT VERSION()")

# 取得上个查询的结果，是单个结果

# data = cur.fetchone()

track_list = get_track_list(18521227, 1)

sql = """insert into track_info_demo(id,trackId,title,play_count,duration,url,file_path) values(%s,%s,%s,%s,%s,%s,%s)"""

for track_info in track_list:

# 下载

track_url = get_track_url(track_info.get('trackId'))

file_path = ""

if track_url:

# 扩展名

file_name = track_url[track_url.rindex('/'):]

# 文件名路径

file_path = dir + file_name

# 下载

download_track_audio(track_url, file_path)

# values.append(track_info.get('index'))

# values.append(track_info.get('trackId'))

values = [track_info.get('index'), track_info.get('trackId'), track_info.get('title'), track_info.get('playCount'), track_info.get('duration'),

track_info.get('url'), file_path]

cur.execute(sql, values)

con.commit()

finally:

if con:

# 无论如何，连接记得关闭

con.close()

结果

数据库保存信息

文件信息

附：