神经网络入门的理解

神经网络入门的理解

一、训练模型步骤

1.加载数据集，确定训练数据集、训练标签集、测试数据集、测试标签集；

2.若训练数据为序列，则可以通过两种方法对序列进行处理，将序列张量化；

​ a.使用内置的张量化方法；

​ b.使用自定义的张量化方法，比如将整数序列编码为二进制矩阵；

3.留出验证集，将张量化后的训练数据集分出一部分作为验证集；

4.构建神经网络模型，确定构建的模型、模型层数以及模型每一层使用的激活函数等；

5.编译模型，确定损失函数、优化器以及指标函数(精度)，其中损失函数可以使用内置的，也可以使用自定义的类，而优化器和指标函数既可以使用内置的，也可以使用自定义函数的对象；

6.训练模型，确定训练模型的训练数据集、训练标签集、迭代次数、小批量样本数量、验证集；

7.绘制训练损失和验证损失的图表、训练精度和验证精度的图表；

8.根据图表确定验证精度的峰值，据此来确定迭代次数；

9.使用训练数据集以及测试数据集再次训练模型；

10.使用训练好的模型，生成测试数据产生的预测结果。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YSAAwD37-1668688425860)(C:\常用文件\研究生\NLP\深度学习笔记.assets\1668496813084.png)]

二、机器学习的通用工作流程

1.定义问题，收集数据集

确定面对的问题：二分类问题、多分类问题、标量回归问题、向量回归问题、多分类多标签问题，或者其他问题，比如聚类、生成或强化学习等问题。

然后收集数据，收集比较全的训练数据（特征可以较好的表示出数据的走向），之后对数据进行预处理，决定将数据进行张量化还是对数据进行标准化，如果不同的特征具有不同的取值范围（异质数据），那么应该做数据标准化；而一般张量化的数据需要缩放为较小的值，比如[-1, 1]区间或[0, 1]区间。

2.选择衡量成功的指标

不同问题衡量成功的指标不同，比如平衡分类问题下的精度或者接收者操作特征曲线下面积、类别不平衡的问题下的准确率和召回率、排序问题和多标签分类下的平均准确率均值等等。

3.确定评估方法

常见的评估方法有：

留出验证集： 数据量很大时采用这种方法，大多数情况采用这种方法。

K折交叉验证： 如果留出的验证的样本量太少，无法保证可靠性，采用这种方法。

重复的K折验证： 如果可用的数据很少，同时模型评估又需要非常准确，采用这种方法。

4.开发比基准更好的模型

首先确定最后一层的激活，它对网络输出进行了有效的限制。

其次确定损失函数，它应该匹配需要解决的问题类型。

最后确定**优化器，**一般使用 “rmsprop”。

​ 表1 为模型选择正确的最后一层激活和损失函数

5.扩大模型规模：开发过拟合的模型

​ a. 添加更多的层。

​ b. 让每一层变得更大。

​ c. 训练更多的轮次。

6.模型正则化与调节超参数（调参）

主要通过调节以下的参数来使模型达到最佳性能：

​ a. 尝试不同的架构：增加或减少层数。

​ b. 添加L1 和 或 L2 正则化。

​ c. 添加dropout。

​ d. 每层的单元个数。

​ e. 优化器的学习率等…

架构：增加或减少层数。

​ b. 添加L1 和 或 L2 正则化。

​ c. 添加dropout。

​ d. 每层的单元个数。

​ e. 优化器的学习率等…