基于随机森林+RNN+Tensorflow-Magenta的根据图片情感智能生成音乐系统——深度学习算法应用(含python、ipynb工程源码)+所有数据集（四）

本文链接：https://blog.csdn.net/qq_31136513/article/details/134016619

前言

本项目基于Google的Magenta平台，它采用随机森林分类器来识别图片的情感色彩，接着项目使用递归神经网络（RNN）来生成与图片情感相匹配的音乐，最后通过图形用户界面（GUI）实现可视化结果展示。

首先，项目处理图片，使用随机森林分类器来确定图片中的情感色彩。这可以包括情感分类，如欢快、宁静等。该分类器会分析图片的视觉特征，以确定其中蕴含的情感。

随后，根据图片中的情感，项目使用递归神经网络（RNN）生成与情感相匹配的音乐。这个过程涉及到选定特定音符、节奏和和声，以创造出与图片情感相一致的音乐作品。

最后，项目通过图形用户界面（GUI）将图片、情感色彩、生成的音乐等结果以可视化方式呈现给用户。

总之，这个项目结合了计算机视觉、音乐生成和图形用户界面设计，旨在将图片的情感色彩与音乐创作相融合，为用户提供一种独特的艺术体验。这对于艺术和技术的交叉应用可能非常引人注目。

总体设计

本部分包括系统整体结构图和系统流程图。

系统整体结构图

系统整体结构如图所示。

在这里插入图片描述

系统流程图

系统流程如图所示。

在这里插入图片描述

运行环境

本部分包括 Python 环境和Magenta环境。

详见博客。

模块实现

本项目包括3个模块:数据预处理、模型构建、模型训练及保存，下面分别给出各模块的功能介绍及相关代码。

1. 数据预处理

MIDI下载地址为http://midi.midicn.com/，图片在花瓣网收集获取地址为https://huaban.com/boards/60930738/。音乐模型包含欢快和安静两类MIDI文件各100个，图片包含欢快和安静两类各250张，格式为.jpg。另外，数据集也可以从本博客对应工程源码中下载。

（1）图片部分

提取图片中占比前十的色彩信息，将其转换成hsv格式，存储到.csv文件中，便于后续使用。

详见博客。

（2）音乐部分

详见博客。

2. 模型构建

数据加载进模型之后，定义模型结构，并优化损失函数。

详见博客。

3. 模型训练及保存

在定义模型架构和编译之后，使用训练集训练模型，使模型对图片的情感进行分类。

（1）图片情感分析

本部分包括模型训练和模型保存。

详见博客。

（2）音乐训练

本部分包括模型训练和模型保存的相关代码。

详见博客。

系统测试

本部分包括测试效果及模型应用。

1. 测试效果

将测试集的数据代入模型进行测试，分类的标签与原始数据进行显示和对比，得到如图1 与图2的测试效果，得到验证：可以实现图片情感的分类。

模型训练效果

在这里插入图片描述

图1 test0对应图片

在这里插入图片描述

图2 test1对应图片

input_path = 'file:///E:/college/synaes/image/test1.jpg'
file=input_path[32:]
cl=get_color(input_path)
arr=[cl[0:15]]
print(len(arr))
with open("E:/college/synaes/image/classifier.m", "rb") as f:
    model = joblib.load(f)
    lb = model.predict(arr)
print(lb)
print(type(lb))
if lb==1:
    print(file, '是欢快的')
elif lb==0:
    print(file, '是宁静的')

通过测试得到test0对应图片是宁静的，test1对应图片是欢快的，这与它们的真实标签是一致的。

2. 模型应用

运行GUI源码，展示图形界面如图所示。

在这里插入图片描述

界面从上至下，分别是三个按钮、一个文本框输入。文本框内直接填入图片路径，可以是本地，也可以是网页链接，如图3所示，在文本框内显示对应路径，如图4所示。

在这里插入图片描述

图3 图片选择显示界面

在这里插入图片描述

图4 测试结果

工程源代码下载

详见本人博客资源下载页

其它资料下载

如果大家想继续了解人工智能相关学习路线和知识体系，欢迎大家翻阅我的另外一篇博客《重磅 | 完备的人工智能AI 学习——基础知识学习路线，所有资料免关注免套路直接网盘下载》
这篇博客参考了Github知名开源平台，AI技术平台以及相关领域专家：Datawhale，ApacheCN，AI有道和黄海广博士等约有近100G相关资料，希望能帮助到所有小伙伴们。