神经网络基础（二）

收集训练数据集

1.开源数据集

2.人工收集数据集

3.Web

4.半自动化实例标注

5.外面订购图像标注服务

6.手动标注图像

设计网络结构

对于 深度神经网络来说，设计网络结构主要是确定层数，每层隐藏层的节点数和激活函数，以及输出层的激活函数和损失函数。

在神经网络的结构设计中，一般主要有以下的要点：

1.输入层的单元数等于样本特征数

2.在分类问题中，输出层的单元数一般等于分类的类型数

3.每个隐藏层的单元数通常是越多分类精度越高。但是也会导致性能下降，因此要平衡质量和性能间的关系。

数据预处理

目的：主要帮助网络更加高效和准确的收敛，

方法：

1.归一化

2.白化

3.独热编码

4.数据增强

全零初始化

初始化参数为0，导致同一层的神经元会学习到相同的特征，梯度下降不会起到作用。

随机初始化

将参数初始化为小的随机数，随机数选取的不好，容易导致网络模型陷入困境。

Xavier初始化

保持每一层的输入和输出的方差一致。但是没有考虑激活函数的影响。

激活函数的概念

在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数就是激活函数。

激活函数对神经网络的影响

激活函数相当于在神经网络中加入非线性因素，使神经网络变为非线性模型。

损失函数

神经网络中使用的代价函数被称作损失函数

        损失函数衡量了预测与真实样本标签的距离，一般回归问题的损失函数为均方误差损失函数，分类问题选择交叉熵损失函数。

均方差误差损失函数

当你执行回归任务时，可以选择该损失函数。顾名思义，这种损失是通过计算实际（目标）值和

预测值之间的平方差的平均值来计算的。

 交叉熵损失函数

交叉熵损失函数（Cross Entropy）通常被用于分类问题，相比于MSE，交叉熵损失在分类预测结果和真实结果相差很大时，会有更大的梯度，因此，更适合神经网络训练，损失函数公式如下：