观看华为AI技术领域课程--深度学习前三章总结

神经元： 包含生物神经元和人工神经元。

生物神经元：由树突、突触、细胞体、轴突组成，具有兴奋性与传导性，有感觉神经元、运动神经元、联络神经元。生物神经元组成生物神经网络。

人工神经元：由输入函数、突触权重、求和结点、激活函数、输出信号组成、包括输入神经元、输出神经元、中间神经元。人工神经元组成人工神经网络，包括前馈网络（CNN）、反馈网络（RNN）、图网络（知识图谱）。

单层感知机：本质上是一个二分类器，只能解决线性分类问题。

在单层感知机输入输出层添加隐藏层来解决非线性问题，添加隐藏层层数可以增强神经网络的分类能力与表达能力。

神经网络在感知机模型上做了扩张：增加隐藏层以增强模型的表达能力；增加神经元数量使模型能够灵活的应用于分类回归；调整激活函数。

激活函数：

什么是激活函数：上一层结点的输入与输出之间的函数关系。

激活函数的作用：引入非线性。

常见激活函数：Sigmoid、Tanh、Softsign、ReLU、Softpius、Softmax等等。

如何选择激活函数：根据函数非线性、连续可微性、有界性、单调性、平滑性。

前向传播及损失函数：

前向传播：输入信号从输入层传输到输出层。 损失函数：估量模型的好坏，损失函数越小，模型的鲁棒性越好。常见的损失函数有均方误差（用于回归问题）、交叉熵误差（用于分类问题）。

损失函数的极值：目的是搜索使得损失函数最小的权值向量。求值方法：梯度下降法，包括全局梯度下降法（收敛过程慢）、随机梯度下降法（难以收敛到极值）、小批量梯度下降法（最优）。

反向传播：使用链式求导法则将输出层的误差反向传回给网络，是神经元的权重有了较简单的梯度计算实现方法。

卷积神经网络：简称为CNN，一种前馈神经网络，避免了对图像的复杂前期预处理而可以直接输入原始图像，图像处理中最典型的一个算法。包括卷积层，池化层和全连接层。

核心思想：

局部感知：每个神经元只需要收集局部信息，可以使kernel的尺寸远小于输入图像的尺寸来实现。优点：减少内存，每个神经元一次只收集局部信息。

参数共享：同一图像在不同位置，不同大小，不同光照下都会被识别为同一物体。用参数相同的kerrnel去扫描整个图像来实现。优点：解决图像不变性的问题，减少计算和内存需求。 多核卷积层：通过不同的卷积核提取图像局部特征信息。

池化层：分为最大池化和平均池化。作用：降低特征图参数量、保留图像显著特征、降低过拟合、扩大感知视野和解决图像不变性。

全连接层：将最后得到的特征映射到线性可分的空间，起到“分类器”的作用。

循环神经网络：简称RNN,通过隐藏层节点周期性的连接，来捕捉序列化数据中动态信息的神经网络，可以对序列化的数据进行分类。解决了信息记忆的问题，长时间记忆的信息会衰减，基本的循环神经网络存在梯度爆炸和梯度消失问题，不能很好的处理长距离的依赖。应用：生成图像描述，生成视频描述，机器翻译，语音识别。数据集处理：

数据集：常见的数据类型：图像数据、视频数据、语音数据与文本数据（都是非结构化的数据，序列数据），时序数据。是一组数据，每一个数据称为样本。

 

划分：训练集：构建机器学习模型，从数据中确定模型参数的过程称为学习。验证集：辅助构建模型，用于在构建过程中评估模型，进而调整模型超参数。测试集：评估训练好的最终模型的性能。

数据集分割：尽量保证训练集与测试集同分布。尽可能使训练集和测试集数据分布的属性一致。

方法：留出法，K-折交叉验证，Holdout交叉验证、自助法等。

留出法：适用于大数据集，单次使用留出法会导致模型不稳定，保证三种数据集中样本比例的相似性。

K-折交叉验证：将数据划分为K个子集，重复K次，取平均测试结果作为最后的输出，数据集较小。

偏差：训练集预测值-真实值。训练集误差方差：同样大小的训练集的变动所导致的学习性能的变化。验证机误差-训练集误差。高偏差：使用更大的模型，延长训练时间，使用新的模型架构，减少正则化。高方差：获取更多数据，添加正则化，提早停止训练，藏尸用新的模型架构。训练测试集失配：获取更多与测试集相似的数据。

网络模型构建：选择合适的神经网络。

错误率居高不下的原因：有bug，超参数选择不合适，数据模型不适配，数据集构造

解决方案：从最简单模型下手，对症下药；成功搭建模型，重现结果；分解偏差各项，逐步拟合数据；用由粗到细随机搜索优化超参数；如果欠拟合，就增大模型。如果过拟合，就添加数据或调整。

超参数：无法从数据集中得到，靠人的经验来设定。提高CNN泛化能力：使用更多数据；使用更大批次；调整数据分布；调整目标函数；调整网络结构；数据增强；权值正则化。

激活函数的选择：CNN：ReLU：优点：对线性问题表达能力很强，不存在梯度消失问题；增大网络的稀疏性；运算量小。缺点：学习率过大会导致神经元死亡。Leaky ReLU：改善了ReLU的神经元死亡特性，损失了部分的稀疏性，添加了一个超参数。Maxout：参数成K倍增加。RNN：Tanh函数。

损失函数的选择：CNN：交叉熵损失函数，可以逐像素比较差异，避免正负值相互抵消，对像素之差取绝对值或平方。RNN：交叉熵损失函数，全部N个时刻的损失值之和。