卷积神经网络用于振动光谱数据分析

---

卷积神经网络用于振动光谱数据分析

Convolutional neural networks for vibrational spectroscopic data analysis

Convolutional neural networks for vibrational spectroscopic data analysis

Jacopo Acquarelli, Twan van Laarhoven, Jan Gerretzen, Thanh N. Tran, Lutgarde M.C. Buydens, Elena Marchiori (2017)

---

（一）摘要和简介

这篇文章的研究结果表明，卷积神经网络可以有效地对振动光谱数据进行分类，识别重要的光谱区域。CNN是目前最先进的图像分类和语音识别技术，可以学习数据的可解释性表示。CNN的这些特性减少了对预处理和突出重要光谱区域的需求，而这两者都是分析振动光谱数据的关键步骤。

振动光谱数据的化学计量分析通常依赖于基线校正、散射校正和噪声去除等预处理方法，这些方法在模型建立之前应用于光谱。预处理是一个关键的步骤，因为即使在简单的问题中使用“合理的”预处理方法也可能降低最终模型的性能。

作者开发了一种新的基于CNN的方法，并提供了一个配套的公开可用的软件。它基于一个简单的CNN架构，只有一个卷积层（所谓浅CNN）他们的方法优于化学计量学标准分类分类算法（如PLS）应用于未进行过预处理的测试数据时的准确性（平均准确率86%，而PLS为62%）它甚至在预处理过的测试数据上达到了更好的性能（平均准确率96%，而PLS为89%）为了便于解释，作者的方法还包括了一个寻找重要光谱区域的过程，从而有助于结果的定性解释。

振动光谱学涉及到红外（IR）和拉曼光谱的特殊光学技术。振动光谱数据分类模型将输入对象（光谱）映射到所需的输出（类分配）。在此背景下设计一个分类模型是一项具有挑战性的任务，而这一任务在不同的领域都有所应用，如制药、聚合物、法医学、环境、食品科学以及医学。目前流行的化学计量学技术包括人工神经网络、支持向量机和线性判别分类器。这些技术通常应用于预处理过的数据。在这方面的主要困难之一是就使用何种光谱预处理方法和最佳设置达成共识。

数据预处理用于提高后续多元分析的稳健性和准确性，并通过纠正与光谱数据采集相关的问题来提高数据的可解释性。预处理方法通常取决于研究的目的和所使用的技术（拉曼或红外）已经开发了大量用于振动光谱数据的预处理方法和软件。这些方法通常是基于一些任意的标准来选择的，例如“它在以前的数据集上运行良好”。最近已经表明，即使对于相对简单的问题，大多数“合理的”预处理方法及其各自的参数设置实际上可能会降低最终模型的性能。一般来说，相同的预处理技术对于一个数据集可能很有效，但是当应用于使用不同的机器、设置或样本矩阵生成的另一个数据集时，则不起作用。

虽然化学计量学研究团体迄今为止主要集中在选择一个好的预处理方法的问题上，但是机器学习团体考虑了一些相关的问题，即学习数据的表示，识别和解开隐藏在数据中的潜在解释因素。尤其是卷积神经网络（CNNs）受到动物视觉皮层生物过程的启发（在动物视觉皮层中，细胞对视觉场的小的子区域很敏感）

CNN是多层感知器（MLP）的变体，MLP是一种前馈人工神经网络（ANN）模型（如下图）它将输入数据映射到一组适当的输出。用于分类的ANN在过去已被应用于振动光谱数据。然而，这些计算模型有两个主要问题。首先，它们容易过拟合，导致新数据的性能很差。其次，无法对分类器进行解释（训练后的神经网络被视为一个“黑匣子”）

机器学习的最新进展使得CNN可以被用来解决这两个问题。CNN的设计考虑了输入数据的空间信息：它们通过加强相邻层神经元之间的局部连接模式，探索空间-局部相关性。与传统的神经网络相比，CNN的参数更少，并且通过嵌入正则化技术，对过拟合问题具有更强的鲁棒性。这些网络的每个卷积层的输出与输入频谱的小区域直接相关。因此，训练后CNN可以用来从分类器中识别输入数据的重要区域。

CNN是目前二维数据（图像）分类的前沿技术，近年来也被应用于高光谱遥感场景的三维数据分类。用于图像分类的CNN使用池化层和全连接层。该文章主要关注一维数据（振动光谱数据），不使用池化层，而是利用卷积核和步长对数据进行平滑处理。步长使最终的模型更容易用于识别重要的光谱区域，而不是池化。此外，作者根据目标（平滑输入信号，在该例中是一个振动频谱）使用了一个新的正则项。这样，CNN能够更容易地适应不同的频谱输入，从而推广到其他数据。这是CNN在振动光谱数据重要区域的分类和识别上的第一次应用。

作者证明了一种基于浅层CNN的简单方法（如下图）比偏最小二乘回归线性判别分析（PLS-LDA）和kNN的分类精度有明显的提高，分别考虑了两种场景：即不进行任何预处理，以及对输入光谱采用了一种最优的预处理方法。此外，作者的研究结果还表明CNN比PLS-LDA更少地依赖于预处理（该软件提供了公开的获取途径）

结果的解释在化学计量学中与分类一样重要，这也是为什么PLS-LDA是化学计量学中使用的一种标准方法的原因。在作者使用的方法中，他们通过对卷积层的输出应用特征选择来检测重要的光谱区域：卷积提供的光谱的新表示突出了被认为相关的光谱区域。

总的来说，这篇文章的主要创新点为：

• 使用非标准CNN：浅层架构（只有一个隐藏的卷积层）没有池化层
• 为CNN设计了一个自定义的损失函数，其中包含一个新的正则项，以加强附近特征之间的相似性
• 通过寻找重要的光谱区域来增强CNN

实验结果表明，该方法为振动光谱数据的分类和解释提供了有力的工具。

（二）方法

本节将首先简要介绍ANN的一般原理。接下来描述该文章为了使神经网络适合于振动光谱数据的数据分析所做出的修改。最后详细描述CNN方法在光谱特征选择上的应用。

ANN由一组相互连接的神经元组成。神经元是神经网络的基本单位，由所谓的“激活函数”（将神经元的输入转换为输出）进行区分。神经元按层组织，每层的神经元都具有相同的激活函数。MLP是一个前馈神经网络，同一层单元之间没有连接（前馈意味着也没有从神经元到前一层的连接）

可以将层分为3组：输入层、隐藏层和输出层。输入层为第一层，一般具有线性激活函数。输出层是最后一层，一般具有线性或softmax激活函数，分别用于回归和分类。MLP一般有一个或多个具有相同非线性激活函数的隐层，每一层的每一个单元都使用加权连接连接到下一层的每一个单元（全连接）这些权重通常都会随机初始化并在训练阶段以有监督的方式进行学习。为此，利用反向传播和梯度下降法的不同变体，根据网络预测误差的目标函数，求出局部最小值。

使用全连接层意味着需要训练相当数量的权重，而这个数量取决于每一层的单元数。当只有几个样本可用来训练权重时，网络很容易过拟合。这是为什么ANN在化学计量学数据分析中不常用的主要原因之一，尽管它们非常适合处理高度非线性的问题（例如，可能由于数据预处理不当而发生的问题）。

作者试图通过使用MLP的变体来克服这个限制，使用非完全连接的层（即需要训练的权重更少）并在目标函数中引入正则项。正则化通过赋予小的权重，增强了神经网络在训练数据之外的适用性。这些方法通常更可取，因为从某种意义上说，较小的权重意味着较低的复杂性，因此可以更容易地解释数据。

作者使用的是卷积层，而不是全连接层（因此得名CNN）首先对输入使用一个卷积核做卷积操作。一般来说，一个或多个卷积核可用于捕获每个卷积层输入数据的不同的属性，而付出的代价是权重的增加。

卷积操作是通过从第一个到最后一个输入元素以某一个固定的步长 stride 移动一个包含$N$个元素的卷积核 $\mathbf{k}={\sum }_i^N{w}_i$。由输入生成的一个新的表示是利用整个频谱上的邻近特征得到的，为此每个内核都会被反复应用于输入本身。每次应用后，卷积的结果会作为输入提供给一个经过校正的线性函数，$\varphi (x)=max(0,x)$，通常用作卷积层的激活函数。因此，每个核通过修正的线性函数，产生了输入的不同表示形式，并独立地连接到下一层。

与全连接层不同，在卷积层上，唯一需要学习的权值是卷积核的权值，这种权重数量的减少有利于网络泛化性能的提升。输出层使用softmax激活函数，这是分类任务的常见选择，因为它可以将预测转化为非负值，并将其标准化，从而得到类的概率分布：$$softma{x}_k(x)=\frac{e^{W_k^{T}x}}{{\sum }_{j=1}^n{e}^{W_j^{T}x}}$$其中，$x$是输入向量， n