【Python学习笔记】：Python爬取音频

已于 2024-07-15 12:42:24 修改
阅读量876 收藏 7
点赞数 12
分类专栏： Python自学笔记 文章标签： python 学习 笔记 爬虫 开发语言
于 2024-07-15 10:36:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bailichen800/article/details/140379441
版权

【Python学习笔记】：Python爬取音频

背景前摇（省流可以不看）：
人工智能公司实习，好奇技术老师训练语音模型的过程，遂请教，得知训练数据集来源于爬取某网页的音频。
很久以前看B站@同济子豪兄的《两天搞定图像识别毕业设计》系列，见识到了（祖传代码）爬虫爬取大量图片制作训练数据集的能力，然后我就想到，我之前学的BeautifulSoup和Scrapy都是爬网页文本的，我还从来没有写代码成功且专门爬过视频和图片的经验，那正好学一下，以后没准也可以拿来做自己的数据集，这次就先搞定音频的爬取吧。
原理讲解这部分，我认为下面这个视频无懈可击——言简意赅，简明扼要，时长感人，堪称吾辈楷模！！
【python】几分钟教你如何用python爬取音频数据：
https://www.bilibili.com/video/BV1mL4y1N7eV/?spm_id_from=333.1007.top_right_bar_window_custom_collection.content.click&vd_source=cdfd0a0810bcc0bcdbcf373dafdf6a82
传送门
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
网址后缀只有mp3
在这里插入图片描述
————————————————————————————————
原理明白了，下面进入实操细节：我承认我选这个教程的很大原因，是被“突破网站反爬”几个字吸引了。
突破网站反爬-制作简易的音乐播放器【Python】：https://www.bilibili.com/list/watchlater?oid=1556173520&bvid=BV1e1421b73k&spm_id_from=333.1007.top_right_bar_window_view_later.content.click
传送门
老师这个清晰的板书风格，爱了。
在这里插入图片描述
在这里插入图片描述
意外收获找个歌曲的宝藏网站一枚：歌曲宝，能在线听也能下载
（说真的，感觉有这网站在都不用劳动爬虫大驾，笑死）
https://www.gequbao.com/
传送门————————————————————————————————
思路梳理：
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
————————————————————————————————
第一部分，单首歌曲采集：
F12/右键——检查，选择”网络“模块，然后点击页面上的刷新按钮，让网页数据重新加载出来。
在这里插入图片描述
右边示范的这个链接还是歌曲本身：
在这里插入图片描述
下面这个play_url就是我们需要的歌曲播放链接了：
在这里插入图片描述这个有点难点到，先点play_url下面的数据内容，然后再选Headers。
在这里插入图片描述
然后就可以看到数据的标头了——可以得知请求网站，请求方法和请求参数等等都可看到。
在这里插入图片描述
数据包地址Request URL: https://www.gequbao.com/api/play_url?id=402856&json=1
在这里插入图片描述
————————————————————————————————
思路分析清楚后，就该到代码实践步骤了：
在这里插入图片描述
在这里插入图片描述
主要使用的是请求标头里面的参数，比如这个User-Agent：
user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36在这里插入图片描述
插入代码后要注意写成字典形式：
在这里插入图片描述

# 模拟浏览器
headers = {
    #User-Agent 用户代理，表示浏览器基本身份信息
    'User-Agent' :'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}

在这里插入图片描述

# 请求网址
url = 'https://www.gequbao.com/api/play_url?id=402856&json=1'

在这里插入图片描述
在这里插入图片描述
————————————————————————————————
经过以上步骤，可以成功获取一个格式类似json的结果：
在这里插入图片描述

#导入数据请求模块
import requests

'''发送请求'''
# 模拟浏览器
headers = {
    #User-Agent 用户代理，表示浏览器基本身份信息
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
# 请求网址
url = 'https://www.gequbao.com/api/play_url?id=402856&json=1'
# 发送请求
response = requests.get(url=url, headers=headers)

'''获取数据'''
#获取响应json数据——字典数据
json_data = response.json()
print(json_data)

输出：

{'code': 1, 'data': {'url': 'https://sy-sycdn.kuwo.cn/edde772eaab20af3f141ec9f2561df44/66912c2a/resource/n2/70/55/756351052.mp3?bitrate$128&from=vip'}, 'msg': '操作成功'}

通过键值对取值的方式，一层一层获得歌曲的播放链接：
在这里插入图片描述

'''获取数据'''
#获取响应json数据——字典数据
json_data = response.json()
'''解析数据'''
#提取歌曲链接（键值对取值）
play_url = json_data['data']['url']
print(json_data)
print(play_url)

在这里插入图片描述————————————————————————————————
下一步是保存数据，现在我们拿到的只是一个链接地址，要想保存到本地，要向这个链接发出请求获取音频内容。
写入数据这部分要用到os这个包，并且写之前要判断是否存在目标路径，如果没有的话会报错。
在这里插入图片描述
UP老师为了直观省事（毕竟这个程序很简单）直接指定文件夹的名字并且把存在与否的逻辑判断放在了最开头，但我见的更多的写法是和文件操作放在一起写，比如执行读写操作之前判断一下有无此目录，如果没有的话再建立。
在这里插入图片描述

#导入数据请求模块
import requests
#导入文件操作模块
import os

'''自动创建保存音频的文件夹'''
file = 'music'
#判断文件夹是否存在
if not os.path.exists(file):
    #创建文件夹
    os.mkdir(file)
    
'''发送请求'''
# 模拟浏览器
headers = {
    #User-Agent 用户代理，表示浏览器基本身份信息music
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
# 请求网址
url = 'https://www.gequbao.com/api/play_url?id=402856&json=1'
# 发送请求
response = requests.get(url=url, headers=headers)

'''获取数据'''
#获取响应json数据——字典数据
json_data = response.json()
'''解析数据'''
#提取歌曲链接（键值对取值）
play_url = json_data['data']['url']
print('json_data = ',json_data)
print('play_url = ',play_url)
'''保存数据'''
#对于音频链接发送请求，获取音频内容
music_content = requests.get(url = play_url, headers = headers).content
#数据保存
with open('music\\晴天.mp3', mode = 'wb') as f:
     #写入数据
    f.write(music_content)

执行完这一步以后，打开本地文件夹可以看到《晴天》这首歌已经顺利存到本地了，并且点击可以电脑上播放：
加粗样式
在这里插入图片描述
到这里单首歌曲的采集就结束了，可以说是给了我很大信心，但我还不够满意，因为要做人工智能音频数据集的话需要大量爬取音频数据，之前问过做分布式Python的技术老师用的是Scrapy，但我一下子没找到用Scrapy或者其他框架大规模深度爬取数据的好例子，先把手上这个学完吧。
截至第一步的完整代码内容：

#导入数据请求模块
import requests
#导入文件操作模块
import os

'''自动创建保存音频的文件夹'''
file = 'music'
#判断文件夹是否存在
if not os.path.exists(file):
    #创建文件夹
    os.mkdir(file)
    
'''发送请求'''
# 模拟浏览器
headers = {
    #User-Agent 用户代理，表示浏览器基本身份信息music
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
# 请求网址
url = 'https://www.gequbao.com/api/play_url?id=402856&json=1'
# 发送请求
response = requests.get(url=url, headers=headers)

'''获取数据'''
#获取响应json数据——字典数据
json_data = response.json()
'''解析数据'''
#提取歌曲链接（键值对取值）
play_url = json_data['data']['url']
print('json_data = ',json_data)
print('play_url = ',play_url)
'''保存数据'''
#对于音频链接发送请求，获取音频内容
music_content = requests.get(url = play_url, headers = headers).content
#数据保存
with open('music\\晴天.mp3', mode = 'wb') as f:
     #写入数据
    f.write(music_content)

————————————————————————————————
第二部分：搜索下载：
老师讲到这部分已经有点批量采集的意思了，要分析链接的变化规律，要说这个我可就不困了。
选择另一首歌曲《稻香》，如法炮制，播放歌曲，刷新检查界面的Network下属Media栏，一样的办法找到url。（如果发现没有歌曲的链接出现的话，应该是没有播放歌曲）
在这里插入图片描述
在这里插入图片描述
正好老师的视频也在讲这个播放一下出链接的解决办法，甚至还让不出来就拉进度条，哈哈：
在这里插入图片描述
再故技重施找链接：
在这里插入图片描述
通过对比，发现不同的歌曲主要是id不同。只要能把所有的歌曲ID都拿到，那就可以采集全部的歌曲。（好耶！音频训练数据集不是梦？！）
————————————————————————————————
在这里插入图片描述
那么关键的id该怎么找呢？老师告诉我们，和浏览器上方网址导航栏里面是一样的：
在这里插入图片描述
而导航栏这个链接，是搜索出的集合页面“下载”按钮点进来的：
在这里插入图片描述
在搜索页面搜一下单首歌曲的id：
在这里插入图片描述
在这里插入图片描述
发现这一页歌名，作者，id都有：
在这里插入图片描述
那么要抓取的请求网址自然也是这个页面的Request URL了：
在这里插入图片描述
Request URL: https://www.gequbao.com/s/%E5%91%A8%E6%9D%B0%E4%BC%A6
在这里插入图片描述
在这里插入图片描述
————————————————————————————————
老师的总结：三种获取内容的方式
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
前面我们根据链接直接下载歌曲文件的时候，就用的content方法，直接获取歌曲的二进制文件并保存。
在这里插入图片描述
在这里插入图片描述
最开始获取歌曲链接的时候就是返回的json格式：

json_data =  {'code': 1, 'data': {'url': 'https://sy-sycdn.kuwo.cn/6dafd418ad3ba5d48a41948554b060df/669147fa/resource/n2/70/55/756351052.mp3?bitrate$128&from=vip'}, 'msg': '操作成功'

（另外提一句，我实习做内容安全方向的AI训练数据标注师的时候，每天审核的文本训练集就是json文件，所有数据都有整齐划一的格式，主题、回答什么的排得清清楚楚，甚至还是放在VSCode里打开删改。然后根据技术老师的答疑这些训练数据很多也是爬虫得到的，所以response.json()在文本数据集制作应该会很常用，但如果是训练语音模型、图像识别模型的话，应该response.content会更吃香。）
————————————————————————————————
具体选择用哪种方法呢？要根据获取的目标网页内容决定：
1.这种网页前端，HTML的格式就用获取文本response.text
在这里插入图片描述
2.这种花括号包起来的用response.json()
在这里插入图片描述
3.二进制音频/视频/图片/文件链接，用response.content
在这里插入图片描述
保存代码不是固定的，要看保存成什么样子。
————————————————————————————————
在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述
切到元素分栏，鼠标选择找到CSS标签：
在这里插入图片描述
在这里插入图片描述
看一下查到的84条row标签，发现首尾几条代表的并不是我们想要的歌曲，所以要对返回的列表做切片。
————————————————————————————————
找到a标签并且提取歌名文字内容以后，发现歌名的后面还跟着很多空格：
在这里插入图片描述
使用**strip()**方法，去掉歌名左右两边的空格。
在这里插入图片描述————————————————————————————————
提取歌曲id要注意，id并不是文字内容，而是标签里面的属性，要用 attr(属性名称) 来获取。
在这里插入图片描述

这块是有一点绕，一会是文字一会是属性的，对HTML比较熟的看起来要容易一些，或者对着老师的教程多看几遍，自己多尝试，不懂的问问Kimi。
在这里插入图片描述
在这里插入图片描述
歌手也如法炮制——找到标签，提取文本信息：
在这里插入图片描述
将之前请求网址的格式更换为通用匹配id的形式：
在这里插入图片描述
保存的格式也换成歌名和歌手通用的形式：
在这里插入图片描述
————————————————————————————————
批量采集的思路捋一捋：先通过单首歌曲的链接和浏览器网址对比，发现每首歌曲有id作为唯一辨识符，那么只要知道所有id，就可以爬取所有歌曲。
（我想如果对网页很熟了，知道要找歌曲id来下载，应该可以直接进行批量爬取，不需要再拿单首歌曲测试）
于是就去搜索页面这种有大量id的网页，通过检查HTML代码的方法，找到了要薅羊毛的这个大集合目标网址的HTML代码，然后写爬虫获取网页源代码，通过CSS解析出当中隐藏的一大堆歌名、id等信息，最后再拿这一大堆id组合成完整歌曲链接，去爬想要的一大堆歌曲并且保存到本地。
————————————————————————————————
不知道为什么，我下着下着就报了一个bug，看原网页这也不是当前目录的最后一首歌（而且似乎也不是按顺序下载的）。
在这里插入图片描述
在这里插入图片描述
仔细看老师的下载列表，跟我一样也是到这首歌就停了。
在这里插入图片描述
询问了一下Kimi，我感觉可能是有的歌曲解析失败无法提供播放链接造成的，之前在这个网站试着搜了一些想听的歌，结果有好几首无法播放，说《解析失败》。
在这里插入图片描述
加上Kimi提供的这段代码以后，确实程序容错性变高了，下载到本地的歌曲明显多了，也不会因为中间出问题而中断。
在这里插入图片描述
而且我们还能看到，出bug的是这首《霍元甲》：
在这里插入图片描述
这首歌到网站里面点开发现是能正常播放的，那就不是音源找不到的问题，我们把错误给Kimi看一下——原来是歌曲名太刁钻了。
在这里插入图片描述
在这里插入图片描述
按照Kimi的提示改一下：
在这里插入图片描述
但我试过以后还是报这个刁钻古怪的问题……看网页源代码也看不出bug
在这里插入图片描述
那看来是不得不使用Kimi建议的另一个方法——清理一下文件名了：
在这里插入图片描述
这次奏效了！成功把《霍元甲》这首歌爬下来了，而且爬取效果比我想得要好，甚至电影题目都还在！！
在这里插入图片描述
在这里插入图片描述
这段代码成功顺利跑完了爬取流程，再没有报错！起立欢呼！！
在这里插入图片描述

#导入数据请求模块
import requests
#导入文件操作模块
import os
#导入数据解析模块
import parsel
import re
def clean_filename(filename):
    # 替换文件名中的特殊字符为下划线
    return re.sub(r'[<>:"/\\|?*\r\n]', '_', filename)

'''自动创建保存音频的文件夹'''
file = 'music'
#判断文件夹是否存在
if not os.path.exists(file):
    #创建文件夹
    os.mkdir(file)
    
'''发送请求'''
# 模拟浏览器
headers = {
    #User-Agent 用户代理，表示浏览器基本身份信息music
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
#搜索网址
link = 'https://www.gequbao.com/s/%E5%91%A8%E6%9D%B0%E4%BC%A6'
# 发送请求
link_response = requests.get(url=link, headers=headers)
#获取响应文本数据
html = link_response.text
'''解析数据'''
#把html字符串数据转换为可解析对象
selector = parsel.Selector(html)
#第一次提取，提取所有歌曲信息所在div标签类名row
rows = selector.css('.row')[2:-1]
#for循环遍历，提取列表里面元素
for row in rows:
    '''提取每一条歌曲具体信息'''
    #提取歌名
    SongName = clean_filename(row.css('a.text-primary::text').get().strip())
    #提取id
    SongId = row.css('a.text-primary::attr(href)').get().split('/')[-1]
    #提取歌手
    singer = row.css('.text-success::text').get().strip()
    print(SongName, SongId, singer)
    
    # 请求网址
    url = f'https://www.gequbao.com/api/play_url?id={SongId}&json=1'
    # 发送请求
    response = requests.get(url=url, headers=headers)

    # 检查响应状态码
    if response.status_code == 200:
        try:   
            '''获取数据'''
            # 尝试获取响应json数据
            json_data = response.json()
            print('json_data = ', json_data)
        except ValueError:
            # 如果解析JSON失败，打印原始响应文本
            print('Failed to parse JSON from response text:')
            print(response.text)
    else:
        print('Failed to retrieve data, status code:', response.status_code)

    '''解析数据'''
    #提取歌曲链接（键值对取值）
    play_url = json_data['data']['url']
    print('json_data = ',json_data)
    print('play_url = ',play_url)
    '''保存数据'''
    #对于音频链接发送请求，获取音频内容
    music_content = requests.get(url = play_url, headers = headers).content
    #数据保存
    # 使用原始字符串来避免转义字符问题
    with open(f'music\\{SongName}-{singer}.mp3', mode='wb') as f:
         #写入数据
        f.write(music_content)

————————————————————————————————————————————
接下来就进入第三部分：搜索歌曲
老师使用了一个比较陌生的新库prettytable，这会打印出很整齐的表格：
（操作过程比较零碎，要多看慢慢跟）
这个prettytable我在命令行里装了好几回，明明都requirements satisfied了，一跑还是报没有这个module，在jupyter里面单独又装了一次，这回正常了。
在这里插入图片描述
在这里插入图片描述
（老师给的建议是最好把这块代码重构写成函数，不然很麻烦。）
能实现输入汉字找到对应歌曲的原因我猜测应该是和这个网页链接有关，能匹配上歌曲的搜索界面网页关键词，然后获取这个网页的HTML代码，有了歌曲id就能指哪打哪：在这里插入图片描述
这次我们就可以随心所欲输入关键字和目标序号，随心所欲下载自己喜欢的歌曲啦：
在这里插入图片描述
搜索部分完整代码：

#导入数据请求模块
import requests
#导入文件操作模块
import os
#导入数据解析模块
import parsel
#导入制表模块
from prettytable import PrettyTable
import re
def clean_filename(filename):
    # 替换文件名中的特殊字符为下划线
    return re.sub(r'[<>:"/\\|?*\r\n]', '_', filename)

'''自动创建保存音频的文件夹'''
file = 'music'
#判断文件夹是否存在
if not os.path.exists(file):
    #创建文件夹
    os.mkdir(file)
    
'''发送请求'''
# 模拟浏览器
headers = {
    #User-Agent 用户代理，表示浏览器基本身份信息music
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
#输入搜索内容
key = input('请输入搜索内容：')
#搜索网址
link = f'https://www.gequbao.com/s/{key}'
# 发送请求
link_response = requests.get(url=link, headers=headers)
#获取响应文本数据
html = link_response.text
'''解析数据'''
#把html字符串数据转换为可解析对象
selector = parsel.Selector(html)
#第一次提取，提取所有歌曲信息所在div标签类名row
rows = selector.css('.row')[2:-1]

#实例化对象
tb = PrettyTable()
#添加字段名
tb.field_names = ['序号', '歌名', '歌手']
#自定义变量
page = 0
#创建空列表
info_list = []

#for循环遍历，提取列表里面元素
for row in rows:
    '''提取每一条歌曲具体信息'''
    #提取歌名
    SongName = clean_filename(row.css('a.text-primary::text').get().strip())
    #提取id
    SongId = row.css('a.text-primary::attr(href)').get().split('/')[-1]
    #提取歌手
    singer = row.css('.text-success::text').get().strip()
    #print(SongName, SongId, singer)
    #添加数据存在字典中
    dit = {
        '歌名':SongName,
        '歌手':singer,
        'ID':SongId,
    }
    #给info_list添加元素
    info_list.append(dit)
    
    #添加内容
    tb.add_row([page, SongName, singer])
    page += 1
    
print(tb)
num = input('请输入你要下载的歌曲序号：')
#获取歌曲ID
music_id = info_list[int(num)]['ID']

# 请求网址
url = f'https://www.gequbao.com/api/play_url?id={music_id}&json=1'
# 发送请求
response = requests.get(url=url, headers=headers)

# 检查响应状态码
if response.status_code == 200:
    try:   
        '''获取数据'''
        # 尝试获取响应json数据
        json_data = response.json()
        print('json_data = ', json_data)
    except ValueError:
        # 如果解析JSON失败，打印原始响应文本
        print('Failed to parse JSON from response text:')
        print(response.text)
else:
    print('Failed to retrieve data, status code:', response.status_code)

'''解析数据'''
#提取歌曲链接（键值对取值）
play_url = json_data['data']['url']
print('json_data = ',json_data)
print('play_url = ',play_url)
'''保存数据'''
#对于音频链接发送请求，获取音频内容
music_content = requests.get(url = play_url, headers = headers).content
#数据保存
# 使用原始字符串来避免转义字符问题
with open(f'music\\{info_list[int(num)]["歌名"]}-{info_list[int(num)]["歌手"]}.mp3', mode='wb') as f:
    #写入数据
    f.write(music_content)

效果如图所示：
在这里插入图片描述
————————————————————————————————————————————
然后我想试着爬取一个某知名的有声书网站，但发现很难搜到搜索界面的Request URL。
在这里插入图片描述
在这里插入图片描述
为了解决这个问题我也查了一些教程：
Python爬虫实战案例之爬取喜马拉雅音频数据详解：https://www.jb51.net/article/201564.htm
传送门
在观看老师的操作，和我自己的操作结果对比发现，现在的网址跟以前有些不一样了。
在这里插入图片描述
老师的视频是23年上传的，看下面截图，他找到的播放链接和上面歌曲宝一样，只有id不同。
在这里插入图片描述
但等我真正自己（今天是2024年7月15日）去找的时候，发现现在链接大不一样了：
在这里插入图片描述
Request URL: https://a.xmcdn.com/download/1.0.0/group30/M02/3F/2A/wKgJXlmBkw2zg0LjAKntzSZLubI803-aacv2-48K.m4a?sign=132430e114a56804799c6cc645b6d251&buy_key=www2_e039a2bf-161311236&timestamp=1721007591951000&token=8248&duration=1377
现在的链接看起来要复杂的多，变化也更多，不仅仅是一个简单的id替换就能搞定的。
然后问了一下Kimi，发现可能用到了动态生成：
在这里插入图片描述
目前我还只知道怎么爬简单的换id的网址，这种动态的问题对我来说有点太复杂了，不过可以作为以后一个进阶的学习方向。
本次我跟着视频教程写的代码也会发到CSDN资源库上，有需要的读者可以下载：
在这里插入图片描述
————————————————————————————————————————————
一些搜索过程中遇到的其他好帖子也发在这里一起分享出来：
解析Python爬虫常见异常及处理方法：https://zhuanlan.zhihu.com/p/650309507
添加链接描述
在这里插入图片描述
Python常见问题-如何爬取动态网页内容：https://www.bilibili.com/video/BV1of4y15736/?spm_id_from=333.337.search-card.all.click&vd_source=cdfd0a0810bcc0bcdbcf373dafdf6a82
添加链接描述
这个视频主要教授的是动态网页的爬取，和之前找的Media栏目不同，这次主要找的是JS和Fetch/XHR目录下的内容。
在这里插入图片描述

有个弹幕说的好：找数据在那个包里不难 难的是找出数据包链接的规律从而一次爬多页的数据

百里香酚兰
关注
  • 12
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python项目：利用关键词爬取网络上图片
04-06
python项目：利用关键词爬取网络上图片；python项目：利用关键词爬取网络上图片；python项目：利用关键词爬取网络上图片；python项目：利用关键词爬取网络上图片；python项目：利用关键词爬取网络上图片；python项目...
喜马拉雅音频文件爬取python
02-25
内容概要：通过带着读者手写python代码，在手写源码的过程中会摘取整体框架中的核心逻辑，简化代码实现过程，保留核心功能，实现音频文件爬取。 适合人群：小白用户，初级用户，具备一定编程基础皆可。 能学到什么：...
python 第一周：学会爬取商品信息
02-26
在“Python第一周：学会爬取商品信息”的学习过程中，我们将深入理解网页的基本构成，并掌握如何使用Python进行网络数据抓取，特别是商品信息的爬取。这个课程将分为几个主要部分，包括课前准备、认识网页的构成、...
Python爬虫：通过关键字爬取百度图片
01-20
使用工具：Python2.7 点我下载 scrapy框架 sublime text3 一。搭建python（Windows版本）  1.安装python2.7 —然后在cmd当中输入python，界面如下则安装成功  2.集成Scrapy框架—-输入命令行：pip install Scrapy...
Python学习笔记(干货) 中文PDF完整版.pdf
05-23
这份"Python学习笔记"涵盖了从环境搭建到基础语法，再到数据类型和控制结构等关键知识点，旨在为初学者提供全面的学习指导。 首先，1.1章节介绍了Python的基础，包括Python的起源和历史。Python是由Guido van ...
【持续集成_05课_Linux部署SonarQube及结合开发项目部署】
weixin_42333261的博客
07-12 289
前置条件：sonarQube不能使用root账号进行启动，所以需要创建普通用户及。3）CMD上传qube文件-不能传到home路径下哦。2）添加用户、组名、密码。4）检查并解压上传的包。
聊聊如何在内网下构建大模型微调环境
python1234567_的博客
07-12 921
LlamaFactory新版更新后，还是比较方便，只是说llamafactory-cli命令的确是有点蒙，踩个坑就好了。对于LlamaFactory微调来说，本身不难，毕竟都是配置；主要是在内网环境下的依赖包拉取安装是真麻烦，但其实也还好。走一遍的话，还是可以学到很多的。​。
python每日一题：回文数
最新发布
xiongxiaoxuan的博客
07-16 68
回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。例如，121 是回文，而 123 不是。给你一个整数 x ，如果 x 是一个回文整数，返回 true；否则，返回 false。解释：从左向右读, 为 -121。从右向左读, 为 121-。因此它不是一个回文数。先将整数x转化为字符串形式，判断x和它的反转形态是否完全相等。解释：从右向左读, 为 01。需注意：True和False首字母大写！提示：-231 <= x <= 231 - 1。输入：x = -121。输入：x = 121。
Python中使用三方库SpeechLib实现文本转换语音文件的示例(Win10)
m0_64880493的博客
07-16 86
开始用创建对象的方法CreateObject 分别创建了语音引擎对象与语音文件流对象。调用流对象的Open()方法实现语音流数据写入音频输出文件。
httpx 的使用
qq_39217312的博客
07-15 616
httpx 是一个可以支持 HTTP/2.0 的库还有一个是： hyper 库这里有一个由HTTP/2.0的网站： https://spa16.scrape.center/使用 requests 库 进行爬取 报错：安装： httpx pip3 install httpx 这样安装并不能支持 HTTP/2.0如果想要支持，需要这样安装：pip3 install httpx[http2]输出：这里访问的HTTP/1.0的网站，并且依次打印除了 ， 响应状态码(status_code),响应头信息(header
Python与MQTT：构建物联网通信的桥梁
不会代码的小林
07-16 300
首先，让我们简要回顾一下MQTT。MQTT是一种基于发布/订阅模式的消息传输协议，它专为大量小型设备或远程设备以及网络状况不佳的环境而设计。MQTT协议的工作流程非常简单：发布者（Publisher）将消息发送到MQTT代理（Broker），然后订阅了相应主题的订阅者（Subscriber）从MQTT代理接收这些消息。这种解耦的通信方式，使得MQTT非常适合物联网场景下的设备间通信。
Gradio从入门到精通（1）---快速入门
疯狂飙车的蜗牛的博客
07-15 690
Gradio 是一个开源 Python 包，允许您为机器学习模型、API 或任何任意 Python 函数快速构建演示或 Web 应用程序。然后，您可以使用 Gradio 的内置共享功能在几秒钟内共享指向演示或 Web 应用程序的链接。无需 JavaScript、CSS 或 Web 托管经验！Gradio最大的特点就是简单，便捷，短短几行代码就可以快速构建大模型web应用程序；当前很多人工智能模型的演示都是使用Gradio打造的；您会注意到，为了制作第一个演示，您创建了该类的实例。
Python进阶 2024/7/10
weixin_73793099的博客
07-12 265
open（）打开函数name:打开的目标文件的字符串，可以包含文件所在的具体路径mode：访问模式，只读，只写，追加encoding：编码格式，推荐使用UTF-8r：只读w：用于写入a:用于追加，如果该文件已经存在，新的内容会被写到已有的内容之后；如果文件不存在，创建新文件进行写入。
LM(Levenberg-Marquardt) & PCG(预条件共轭梯度法)
weixin_41469272的博客
07-16 391
LM算法在处理非线性最小二乘问题时表现更好，能够更准确地求解参数。PCG算法虽然主要用于线性系统求解，但在引入预条件和线性化近似后，也能在一定程度上解决非线性问题。对于大规模稀疏线性系统，PCG有显著优势；而对于非线性优化问题，LM算法则表现出色。LM参考链接。
华为910b推理Qwen1.5-72b
weixin_41549308的博客
07-12 654
910b部署推理大模型
AIGC专栏13——ComfyUI 插件编写细节解析-以EasyAnimateV3为例
Bubbliiiing的学习小课堂
07-13 3552
最近在给EasyAnimateV3写ComfyUI的工作流，以方便别人测试。学习了ComfyUI的基本操作，也看了一下别人是怎么写的，自己也折腾了一下。在人工智能艺术创作的领域里，Stable Diffusion 凭借其开放源代码的特性，吸引了众多开发者与艺术家的目光，并且因为强大的社区支持而展现出强大的影响力。Stable Diffusion 的两大主流创作平台分别是 Stable Diffusion WebUI 与 ComfyUI。
智能优化算法之模拟退火算法SA
Argulo的博客
07-13 341
模拟退火算法（Simulated Annealing, SA）是一种基于热力学原理的随机优化算法，最早由 S. Kirkpatrick, C. D. Gelatt 和 M. P. Vecchi 于 1983 年提出。在优化过程中，算法允许在一定概率下接受较差的解，以避免陷入局部最优解。在每次迭代中，从当前路径的邻域中随机选择一个新路径。计算新路径的长度，并根据接受准则决定是否接受新路径。：绘制城市坐标图和优化过程中最佳路径长度的变化曲线。：调用模拟退火算法，并输出最佳路径和最佳路径长度。
ipython简单使用
linux
07-12 314
当使用IPython时，有几个技巧和功能能够极大地提升工作效率和代码编写的舒适度。在输入对象、函数或模块名时，按下Tab键可以自动补全代码，包括对象的方法和属性名。IPython 会记录输入的历史命令，可以使用上下箭头浏览并重复执行之前的命令。这些技巧和功能可以大大提高在IPython中编写和调试代码的效率和舒适度。使用%save可以将IPython会话的命令历史保存到一个文件中。使用%who或者%whos查看当前命名空间中定义的变量。使用%magic可以查看所有魔术命令的说明和使用方法。
Pycharm下载、安装及配置
Frost_Descent的博客
07-12 375
Pycharm：适用于数据科学和 Web 开发的 Python IDE。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值