深度学习之---基础

1.介绍

作为机器学习的一类，深度学习通常基于神经网络模型逐级表示越来越抽象的概念或模式。
既然如此，那就少不了对神经网络的基础知识的回顾。下面就是回顾流程：

• 线性回归
• softmax回归
• 多层感知机
• 以及过拟合的处理方式
• 正向传播算法、反向传播算法

2.线性回归

线性回归是一个非常基础的概念，在日常生活中也是非常的常见比如房价预测、气温预测、销售额预测等，基本的一个特征就是输出值是连续的。
而与回归问题不同，分类问题中模型的最终输出是一个离散值，常见的应用比如图像分类、垃圾邮件识别、疾病监测等。softmax回归可以处理分类问题。
基本要素：

• 模型：
  $$\hat{y}=x_1{w}_1+x_2{w}_2+b，其中w_1和w_2是权重，b是偏差，都是标量$$
• 模型训练
• 训练数据
• 损失函数：一般采用平方误差
• 优化算法：批量随机梯度下降法
• 模型预测

简单来说，线性回归算法，就是一个单层的神经网络，输入层不需要计算，因此不能算作一层；输出层的神经元和输入层中各个输入完全连接，因此这里的输出层又叫做全连接层(fully-connected layer) 或者叫做稠密层(dense layer)。

• 和大多数深度学习模型一样，对于线性回归这样的一种单层神经网络，它的基本要素包括模型、训练数据、损失函数和优化函数。
• 既可以用神经网络图表示线性回归，又可以用矢量计算表示模型。
• 应该尽可能使用矢量计算，以提高计算效率。

3.softmax回归

前面回顾了线性回归，可以应用在输出是连续值得情景。那么在遇到分类问题时，模型输出是离散值，这样的预测情景有什么办法呢？这里就需要引入softmax回归，当然还有其他的处理方式，这里主要回顾softmax回归。这个也是神经网络中用于处理多分类的方式，其实对于二分类还有逻辑回归可以使用。
softmax回归模型

• softmax回归和线性回归一样将输入特征与权重做线性叠加。
• 与线性回归的一个主要不同在于，softmax回归的输出值个数等于类标签个数。
• 比如下面有4个特征，3个类别，所以需要计算的权重有12个，偏差有3个，输出有3个，分别表示属于三个类别的值，如下：

$$\begin{gathered} o_1=x_1{w}_{11}+x_2{w}_{21}+x_3{w}_{31}+x_4{w}_{41}+b_1; \\ {o}_2=x_1{w}_{12}+x_2{w}_{22}+x_3{w}_{32}+x_4{w}_{42}+b_2; \\ {o}_3=x_1{w}_{13}+x_2{w}_{23}+x_3{w}_{33}+x_4{w}_{43}+b_3; \end{gathered}$$

通过上面的图也可以看得出来，这也是一个单层的神经网络结构。但是不同的是，输出层的结果有3个，这三个代表什么意思呢？

• 很显然，就是3个类别的计算值了。那一个类别的数值比较大，就属于哪个类别
• 比如上面3个类别分别为：猫、狗、大象，输出的值分别为[1,10,1]，这个时候显然该样本属于狗类。
• 但是上面的数值存在一个问题，那就是输出值没有范围约束，这时候但看一个值得时候就没办法置信分类了。
• 为了解决上述问题，引出softmax函数，也叫做softmax运算符(softmax operator)
• 这个运算函数通过下面的方式将输出值变换成[0,1]之间且和为1的概率分布：

$${\hat{y}}_1,{\hat{y}}_2,{\hat{y}}_3$$