AI孙燕姿项目实现

最新推荐文章于 2024-09-05 12:14:26 发布
最新推荐文章于 2024-09-05 12:14:26 发布
阅读量1.0w 收藏 156
点赞数 20
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42010722/article/details/130601740
版权

最近在b站刷到很多关于ai孙笑川唱的歌曲，加上最近大火的ai孙燕姿，
这下“冷门歌手”整成热门歌手了

于是写下一篇文章， 如何实现属于的ai歌手。
注意滥用ai，侵犯他人的名誉是要承担法律责任的

在这里插入图片描述
下面是一些所需的文件链接：
sovits：github.com/svc-develop-team/so-vits-svc
一鍵包：www.bilibili.com/video/BV1Cc411H74D/
UVR5：www.bilibili.com/video/BV1ga411S7gP/

RX Audio Editor
123盤：www.123pan.com/s/RiyA-LjS03
夸克網盤：pan.quark.cn/s/f9791f6790d3
百度網盤：pan.baidu.com/s/1xUXd9vVHR11sjJ6wCVuwHQ?pwd=hjhj 提取碼: hjhj

Audio Slicer：
Github鏈接：github.com/flutydeer/audio-slicer/blob/main/README.zh-CN.md

整个项目的使用，从深度学习角度来说，可以分为模型推理和模型训练。

  • 第一种，我们可以用已有的ai歌手模型直接进行推理，输出
  • 第二种，自己训练一个ai歌手模型

对于模型推理，对电脑性能要求不高，但是模型训练，对显卡要求挺高

本项目主要使用的是So-VITS-SVC 4.0这个项目，github地址是：https://github.com/svc-develop-team/so-vits-svc

AI孙燕姿项目实现

本地项目实现

1.软件安装

sovits：github.com/svc-develop-team/so-vits-svc

解压后，找到webui.bat（这就是我们ai合成的工具）

2.准备数据集

注意数据集质量比数量更重要，如果要训练一个歌手，最好的方法就是下载他的唱的歌，下载高品质的音乐，除了歌手，还可以考虑采访的，直播的

做过语音处理的应该知道，语音数据需要经过一些处理，这里用UVR5软件提取出音乐的人声

具体实现

打开软件后，把需要提取的视频，拖到select input，文件最好用wav，设置输出路径select Output（随意），其余的参数，可以看下图
然后点击start processing，运行
在这里插入图片描述

处理完，还可以用RX Audio Editor（音频切片机）进一步处理，类似于做语音处理的，预加重，去燥，也可以用代码去实现

下载RX Audio Editor后解压，找到slicer-gui双击运行，将刚才处理好的，导入到其中，设置输出路径，输出完，把文件放到sovits目录下的dataset_raw
在这里插入图片描述

3.开始训练 （本地训练）

打开webui
点击识别数据集
然后点击数据预处理

在这里插入图片描述
往下看输出的信息，当看到100%，证明数据已经加载完毕了
在这里插入图片描述

配置自己的训练超参数，信息，然后点击从头开始训练
在这里插入图片描述

4.模型推理

回头推理界面，选择G开头的模型。选择配置文件，之后上传要转化的视频

在这里插入图片描述
设置音色变调
男转女 设置为5～8，女转男 -5～-8

在这里插入图片描述

接着直接点转换
在这里插入图片描述

如果音色不太好，可能就是模型训练，迭代次数少了，可以继续上次训练。跟深度学习模型训练原理一样

云端项目实现

跟上面处理数据集一样，把数据集压缩后，上传到云上的sovits项目地址的dataset_raw文件夹下，用命令unzip解压

云端项目实现的流程，在项目文件的reame-v4.ipynb里有详细说明了

在这里插入图片描述
按照这个jupyter notebook上面的步骤运行就行了

⚠️

这个github项目最后有一段关于模型使用的说明，以后ai的使用一定也会越来规范，不会滥用
在这里插入图片描述

MATLAB算法实战应用案例精讲-【人工智能】AIGC概念三部曲（二）
qq_36130719的博客
04-09 758
人工智能生成内容（Artificial Intelligence Generated Content，简称AIGC）是一种利用人工智能技术自动生成文章、音频、视频等多媒体内容的方法。近年来，随着人工智能技术的不断发展和应用，越来越多的机构和公司开始尝试使用AIGC来快速且低成本地生成大量的内容，从而满足不同领域的需求。AIGC的发展离不开深度学习技术的支持。在过去的几年中，深度学习技术已经取得了重大进展，特别是在自然语言处理领域。
“AI孙燕姿”们侵了谁的权？
MBNews的博客
05-16 511
2003年大火的歌手：孙燕姿；2023年大火的歌手：AI孙燕姿”。截止目前，Up主们打造的“AI孙燕姿”已翻唱了百余首歌，有音乐播放平台甚至被上传了翻唱合辑，网友们乐此不疲地欣赏着“AI孙燕姿”唱各种不同曲风、不同歌手的歌曲，比如《向天再借五百年》和最近流行的《挖呀挖》，反差无疑是“AI孙燕姿”走红的重要原因。不仅有“AI孙燕姿”，开源的声音训练模型在网友的“巧手”中捏出了“AI王心凌”、“AI周杰伦”。当AI翻唱成为新电子玩具后，随之而来的侵权问题也引发关注。
关于Sovits的本地部署
weixin_41788643的博客
06-24 3308
近几天有好多小伙伴咨询Sovits本地部署的问题，所以呢决定写个简易教程。
保姆级教程！教你打造自己的AI孙燕姿；全程使用AI工具设计一款桌游；搭建基于LLM的客服系统的实践 | ShowMeAI日报
ShowMeAI研究中心
05-09 1936
大模型技术与应用思考导图；OpenAI最新Text-to-3D模型Shap·E；Salesforce推出Slack GPT；阿里进行「数字人」公测；AI教父Hinton最新MIT万字访谈……点击阅读全文
火爆全网的AI孙燕姿！让你也能做出AI声音克隆！（上）
月流霜的专栏
05-14 2620
最近AI孙燕姿火爆全网，我自己也跑了一遍全流程，然后写了一个教程分享给大家文章里面有一站式制作AI孙燕姿的方法，还包含了训练声音模型的教程让大家除了AI孙燕姿外，还能做一个AI自己，让你的声音可以唱任何你喜欢的歌曲同时每一步都是手把手教学，大白话讲解，确保你能听懂，照着做也能做出来另外，所有软件的安装包、整合包，甚至孙燕姿的声音模型都已经打包好放在网盘分享给大家！本作品仅作为娱乐目的发布，旨在让大众更快掌握AI相关应用。
AI孙燕姿翻唱爆火，多亏这个开源项目！广西老表带头打造，上手指南已出
量子位
05-11 545
明敏 发自 凹非寺量子位 | 公众号 QbitAIAI孙燕姿这么快翻唱了这么多首歌，到底是咋实现的？关键在于一个开源项目。最近，这波AI翻唱趋势大火，不仅是AI孙燕姿唱的歌越来越多，AI歌手的范围也在扩大，就连制作教程都层出不穷了。而如果在各大教程中溜达一圈后就会发现，其中的关键秘诀，还是要靠一个名为so-vits-svc的开源项目。它提供了一种音色替换的办法，项目在今年3月发布。贡献成员应该大部...
AI天后,在线飙歌,人工智能AI孙燕姿模型应用实践，复刻《遥远的歌》，原唱晴子(Python3.10)
刘悦的技术博客
05-11 2957
忽如一夜春风来，亚洲天后孙燕姿独特而柔美的音色再度响彻华语乐坛，只不过这一次，不是因为她出了新专辑，而是人工智能AI技术对于孙燕姿音色的完美复刻，以大江灌浪之势对华语歌坛诸多经典作品进行了翻唱，还原度令人咋舌，如何做到的? 本次我们借助基于Python3.10的开源库so-vits-svc，让亚洲天后孙燕姿帮我们免费演唱喜欢的歌曲，实现点歌自由。
完整教程：AI孙燕姿翻唱《交换余生》
大智_Unity探路者
05-10 3164
本文是用已有的模型进行翻唱的过程，如果感兴趣的人多我再写写从0训练AI歌手的教程。
AI孙燕姿验证应用层进展加速，GPT下周起开放联网插件.pdf
05-28
通过开源项目SoVitsSvc，开发者使用孙燕姿的干声素材训练AI模型，成功实现了高度逼真的翻唱效果。这表明AI技术的应用层进展已经相当成熟，使得普通用户也能利用AI进行复杂的内容创作。AI不仅降低了技术门槛，提升了...
【GitHub项目推荐--AI声音克隆】【转载】
j8267643的博客
01-14 1112
这个黑科技就是：Real-Time-Voice-Cloning，现在已经开源，GitHub 24K 的 Star，最重要的是，这个项目提供了 GUI 界面，交互傻瓜式操作，语音采集、训练、生成都可以交互完成，很方便。最后结尾说一下，我用这个模型试了一下，因为这个模型是老外开源的，所以训练的数据是英语的语音，我试了一下说中文，简直就是不会说中文的老外讲中文一个味道，现在我怀疑世界的真实性了。今天推荐一个黑科技开源项目，只需要你 5 秒钟的声音对话，就能克隆出你的声音，而且能够实时的生成你任意语音。
自己动手搭建“接入 AI Agent 的数字人”
tonyjump的博客
09-05 8158
数字人开源项目实战，使用Dify编排框架和Live2D驱动模型搭建智能数字人，实现智能对话并动态交互。
AI届老牌顶流！AI孙燕姿？AI配音？带你玩转语音合成！
PaddlePaddle
06-28 3760
热度与争议并存！AI孙燕姿成新晋顶流？随着AI孙燕姿的爆火，AI老牌顶流「语音合成」再度被炒热飞桨AI Studio也汇聚着众多“语音合成”深度玩家本期就来带大家快速上手AI克隆歌手该应用项目使用AI孙燕姿同源模型So-VITS-SVC 4.0，其原理为音色转换，将一首歌的音色替换为另一个人的音色。应用作者制作出AI克隆歌手作为演示demo，可进入项目链接查看详细教程，克隆任意音色创造你的AI歌手...
快讯｜AI“孙燕姿”横空出世，或能听见“张国荣”唱新歌？AI 读心：大脑信号 1 秒被看穿，还能预测未来画面
weixin_68094467的博客
05-09 286
这个项目叫做 EELS，全称是外生物学现存生命探测器（Exobiology Extant Life Surveyor），是一个能够在各种地形和液体中移动和采样的机器人平台，可以探索内部地质结构，评估其中是否有生命存在，并寻找生命的证据。近日，360 创始人周鸿祎在与俞敏洪的对话中谈到 ChatGPT，他认为其发展是指数级的，几年后可能会失控，但 ChatGPT 也可以成为生产力工具，周鸿祎说互联网公司都要有 ChatGPT，没有这个能力就会掉队。AI翻唱的歌曲是否享有自己的版权？
10分钟学会sovits第一篇
u014196765的博客
05-29 2697
So-vits-svc 基于端到端架构的VITS和soft-vc，用户只需准备几十分钟到几个小时不等的语音或歌声数据，就能制作（训练）属于自己的 AI 声库 （前提是你的显卡足够给力），将一段语音或歌声转换为你想要的音色。
【AI 孙燕姿 | AI 音色克隆】RVC 使用图文教程:无难度男女换声（伪音）、 AI 孙燕姿
热门推荐
yumuing‘s blog
06-02 2万+
根据本文，可以很简单实现：音乐干声分离：背景音（BGM）与人声（干声）的分离；训练个人音色模型：作为模仿其他干声素材的音色数据；男女换声（伪音）：基于异性干声素材，进行实时转化声音为异性声音；AI 唱歌：仅作基础的模拟演唱，仍需进行调音等等操作，才可以达到完美；音色融合：不同音色的特征融合出一个全新的音色
手摸手教学，如何训练一个你的专属AI歌姬~
Gefangenes的博客
05-27 1982
learning_rate和batch_size这两个参数可以理解为训练速度和训练质量，因为我们用的V100 32G显卡，这块直接固定死数值就可以，keep_ckpts是保存多少个模型，因为声音模型训练是不会自动停止的，每几千步就会给你保存一个模型，所以我们可以让他自动保存最新的10个模型让我们来选一个最好的。把所有的音频文件都进行人声分离后，接下来就要对音频进行切片处理了，因为人声素材文件的大小过大会影响模型训练的速度，所以我们还需要对其切片，将它变成一个比较小的人声切片文件。
火爆全网的AI孙燕姿！让你也能做出AI声音克隆！（下）
月流霜的专栏
05-14 2387
最近AI孙燕姿火爆全网，我自己也跑了一遍全流程，然后写了一个教程分享给大家文章里面有一站式制作AI孙燕姿的方法，还包含了训练声音模型的教程让大家除了AI孙燕姿外，还能做一个AI自己，让你的声音可以唱任何你喜欢的歌曲同时每一步都是手把手教学，大白话讲解，确保你能听懂，照着做也能做出来另外，所有软件的安装包、整合包，甚至孙燕姿的声音模型都已经打包好放在网盘分享给大家！本作品仅作为娱乐目的发布，旨在让大众更快掌握AI相关应用。
一夜之间，「AI孙燕姿」火遍全网！
Datawhale
05-09 684
Datawhale干货最新：AI应用，编辑：新智元【导读】最近，一位「冷门歌手」竟靠着AI替身，翻唱华语乐坛歌曲爆红全网。一夜之间，「AI孙燕姿」火遍全网。B站上，AI孙燕姿翻唱的林俊杰「她说」、周董「爱在西元前」、赵雷「成都」等等，让一众网友深陷无法自拔。「冷门歌手」孙燕姿新晋成为2023年度热门歌手，掀起许多人的追星狂欢。网友表示，「听了一晚上AI孙燕姿，出不去了......」这些翻唱歌曲...
Creating Chromium WebUI Interfaces
谢绝(无视)留言与私信
04-22 1669
在68.0.3440.84上，准备加一个webui.webui的意思是内建的url, 不是远程的url.按照官方的说法，这2种方法都能加webui.比较起来，第一种好些，可以将加入的实现文件归在一起，好维护。先按照第一种方法做实验，不成功。对照报错信息看, 是ui_0.lib报错。说定义的实现类找不到，那明显是实现文件没编进工程引起的。或者新加入的实现，编译后的obj, 没包进ui_0.lib. 估计是编进components的obj, 不在ui_0.lib的引用中。
按照要求利用Python编写一个基于深度学习的人脸识别签到系统的设计与实现的APP
最新发布
11-25
### 基于深度学习的人脸识别签到系统的APP设计与实现 #### 一、设计背景与目标 随着人工智能技术的发展，人脸识别技术逐渐成熟并在多个领域得到广泛应用。本项目旨在设计并实现一个基于深度学习的人脸识别签到系统，用于学校、公司等场所的考勤管理。该系统能够自动识别进入人员的身份，并记录签到信息，提高签到效率和准确性。 #### 二、技术选型 1. **深度学习框架**：PaddlePaddle 2. **图像处理库**：OpenCV-Python, Pillow 3. **Web框架**：Flask 4. **数据库**：SQLite 5. **前端技术**：HTML, CSS, JavaScript 6. **其他**：NumPy, Pandas #### 三、系统架构 1. **数据采集模块**： - 使用摄像头采集人脸图像。 - 利用OpenCV进行图像预处理，如灰度化、归一化等。 2. **模型训练模块**： - 收集并标注大量人脸图像数据。 - 使用PaddlePaddle训练卷积神经网络（CNN）模型，提取人脸特征。 3. **人脸识别模块**： - 加载训练好的模型，实时检测和识别摄像头捕获的人脸。 - 利用Pillow进行图像处理，提高识别精度。 4. **签到管理模块**： - 将识别结果与数据库中的用户信息进行比对，确认身份。 - 记录签到时间和地点，生成签到日志。 5. **Web接口模块**： - 使用Flask搭建Web服务器，提供API接口。 - 前端页面使用HTML、CSS、JavaScript实现用户交互。 6. **数据库管理模块**： - 使用SQLite存储用户信息、签到记录等数据。 - 提供数据查询和统计功能。 #### 四、核心功能实现 1. **数据采集**： ```python import cv2 def capture_face(): cap = cv2.VideoCapture(0) while True: ret, frame = cap.read() if not ret: break # 进行人脸检测 faces = detect_faces(frame) for (x, y, w, h) in faces: face_image = frame[y:y+h, x:x+w] # 保存人脸图像 cv2.imwrite('faces/face_{}.jpg'.format(time.time()), face_image) cv2.imshow('Capture Face', frame) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows() ``` 2. **模型训练**： ```python import paddle from paddle.vision import transforms from paddle.io import Dataset, DataLoader class FaceDataset(Dataset): def __init__(self, data_dir, transform=None): self.data_dir = data_dir self.transform = transform self.image_paths = glob.glob(os.path.join(data_dir, '*.jpg')) self.labels = [int(path.split('/')[-1].split('_')[0]) for path in self.image_paths] def __len__(self): return len(self.image_paths) def __getitem__(self, idx): image_path = self.image_paths[idx] label = self.labels[idx] image = Image.open(image_path).convert('RGB') if self.transform: image = self.transform(image) return image, label transform = transforms.Compose([ transforms.Resize((128, 128)), transforms.ToTensor(), transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.5, 0.5, 0.5]) ]) dataset = FaceDataset('faces', transform=transform) dataloader = DataLoader(dataset, batch_size=32, shuffle=True) model = paddle.vision.models.resnet18(pretrained=True) num_ftrs = model.fc.in_features model.fc = paddle.nn.Linear(num_ftrs, num_classes) criterion = paddle.nn.CrossEntropyLoss() optimizer = paddle.optimizer.Adam(parameters=model.parameters(), learning_rate=0.001) for epoch in range(num_epochs): for images, labels in dataloader: outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() optimizer.clear_grad() ``` 3. **人脸识别**： ```python def recognize_face(model, image_path): image = Image.open(image_path).convert('RGB') image = transform(image).unsqueeze(0) with paddle.no_grad(): output = model(image) _, predicted = paddle.max(output, 1) return predicted.item() ``` 4. **签到管理**： ```python import sqlite3 def add_sign_in(user_id, time, location): conn = sqlite3.connect('sign_in.db') c = conn.cursor() c.execute('''CREATE TABLE IF NOT EXISTS sign_ins (id INTEGER PRIMARY KEY AUTOINCREMENT, user_id INTEGER, time TEXT, location TEXT)''') c.execute("INSERT INTO sign_ins (user_id, time, location) VALUES (?, ?, ?)", (user_id, time, location)) conn.commit() conn.close() def get_sign_in_history(user_id): conn = sqlite3.connect('sign_in.db') c = conn.cursor() c.execute("SELECT * FROM sign_ins WHERE user_id = ?", (user_id,)) history = c.fetchall() conn.close() return history ``` 5. **Web接口**： ```python from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/recognize', methods=['POST']) def recognize(): file = request.files['image'] image_path = 'temp.jpg' file.save(image_path) user_id = recognize_face(model, image_path) os.remove(image_path) return jsonify({'user_id': user_id}) @app.route('/sign_in', methods=['POST']) def sign_in(): user_id = request.form['user_id'] time = datetime.now().strftime('%Y-%m-%d %H:%M:%S') location = request.form['location'] add_sign_in(user_id, time, location) return jsonify({'status': 'success'}) @app.route('/history/<user_id>', methods=['GET']) def history(user_id): history = get_sign_in_history(int(user_id)) return jsonify(history) if __name__ == '__main__': app.run(debug=True) ``` #### 五、总结与体会 1. **周杰伦**： - 主要负责数据采集模块的实现。 - 遇到的问题：摄像头图像采集不稳定。 - 解决方法：增加图像预处理步骤，提高图像质量。 2. **孙燕姿**： - 主要负责模型训练模块的实现。 - 遇到的问题：模型过拟合。 - 解决方法：引入数据增强和正则化技术，提高模型泛化能力。 3. **林夕**： - 主要负责人脸识别模块的实现。 - 遇到的问题：识别速度慢。 - 解决方法：优化模型结构，减少计算量。 4. **莫文蔚**： - 主要负责签到管理模块的实现。 - 遇到的问题：数据库连接异常。 - 解决方法：增加异常处理机制，确保数据安全。 5. **张学友**： - 主要负责Web接口模块的实现。 - 遇到的问题：API接口响应慢。 - 解决方法：优化代码逻辑，减少不必要的计算。 通过本次项目，我们不仅掌握了深度学习和人脸识别技术的应用，还提高了团队协作能力和问题解决能力。未来，我们将继续探索更多的人工智能应用场景，为社会带来更多的便利。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

T1.Faker

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值