基于小波散射和SVM/LSTM的序列信号分类识别（多输入单输出）——附代码

最新推荐文章于 2024-05-03 08:20:30 发布

神经网络与数学建模

最新推荐文章于 2024-05-03 08:20:30 发布

阅读量2.8k

点赞数 1

分类专栏：深度学习文章标签：支持向量机 lstm 分类小波散射信号处理

本文链接：https://blog.csdn.net/widhdbjf/article/details/129356662

版权

深度学习专栏收录该内容

14 篇文章 22 订阅

订阅专栏

摘要：

此示例说明如何使用机器学习（SVM）和深度学习（LSTM）方法对语音数字信号进行分类。在此示例中，将使用小波时间散射配合支持向量机 (SVM) 和长短期记忆 (LSTM) 网络执行分类。使用小波散射技术快速将原始数据中的特征提取出来，从而为后续网络的分类提供可靠的数据特征。使用SVM和LSTM分别对序列数据进行分类，并测试其准确度，其中SVM使用K折交叉验证的方式进一步优化其性能。本文代码基于Matlab平台编写，注释十分详细（几乎每一行都有注释），适合初学者学习模仿。

主页中已有关于神经网络、深度学习执行分类任务的文章，建议点击查看

小波散射的介绍：

法国工程学院院士Mallat 教授提出了基于小波变换的小波散射变换，并以此构造了小波散射卷积网络。小波散射卷积网络的结构类似于CNN，不同的是其滤波器是预先确定好的小波滤波器，小波滤波器的参数不需要通过训练样本学习得到，其网络是非反馈式的。信号通过计算半离散小波变换，再通过非线性取模操作，得到的信号特征表达具有平移不变性、形变稳定性等优良特性，正好满足机器学习中对特征提取器的基本要求。此外，这些基本性质在数学上得到了严格的理论证明，弥补了CNN缺乏理论支撑的不足。经过大量试验，小波散射网络在手写体识别、纹理和音频分类任务中取得了突出的分类效果，尤其在小样本的情况下，相较于CNN获得了更小的分类错误率，因此小波散射卷积网络具有一定的优势以及研究意义。

同时，相比于卷积神经网路在小样本上表现的不足与其理论解释的缺乏，Mallat教授提出的小波散射网络在小样本下表现良好，且有很好的物理解释能力。绝大多数的卷积神经网络的前几层卷积核都是类小波/类Gabor 窗的，这意味着散射网络本身的结构与浅层卷积神经网络高度相似，继而，浅层的卷积神经网络的特性在一定程度上可以以散射网络的结构特性去解释。

支持向量机SVM的介绍：

支持向量机（supportvectormachines,SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。

具体来说就是在线性可分时，在原空间寻找两类样本的最优分类超平面。在线性不可分时，加入松弛变量并通过使用非线性映射将低维度输入空间的样本映射到高维度空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类超平面。

SVM使用准则：n为特征数，m为训练样本数。

a. 如果相较于m而言，n要大许多，即训练集数据量不够支持我们训练一个复杂的非线性模型，我们选用逻辑回归模型或者不带核函数的支持向量机。

b. 如果n较小，而且m大小中等，例如n在1-1000之间，而m在10-10000之间，使用高斯核函数的支持向量机。

c. 如果n较小，而m较大，例如n在1-1000之间，而m大于50000，则使用支持向量机会非常慢，解决方案是创造、增加更多的特征，然后使用逻辑回归或不带核函数的支持向量机。

长短期记忆神经网络的介绍：

长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。

LSTM是一种含有LSTM区块（blocks）或其他的一种类神经网络，文献或其他资料中LSTM区块可能被描述成智能网络单元，因为它可以记忆不定时间长度的数值，区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

图1底下是四个S函数单元，最左边函数依情况可能成为区块的input，右边三个会经过gate决定input是否能传入区块，左边第二个为input gate，如果这里产出近似于零，将把这里的值挡住，不会进到下一层。左边第三个是forget gate，当这产生值近似于零，将把区块里记住的值忘掉。第四个也就是最右边的input为output gate，他可以决定在区块记忆中的input是否能输出。