神经网络与深度学习-第一次总结

一、线性回归

     定义：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法

   线性回归要素：

• 训练集(training set)：也称作训练数据(training data)，是我们流程中的输入数据，一般称为x。
• 输出数据:一般称为y
• 拟合函数：也称为假设或者模型，一般写做y=h(x)；如果是直线，则为y=kx+b。
• 训练数据的条目数(traning set):一条训练数据是由一对输入数据和输出数据组成的，输入数据的维度n(特征的个数(features)。

学习过程：

                                     

二、线性分类

定义：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分。

线性分类器输入：特征向量输出:哪一类。如果是二分类问题，则为0和1，或者是属于某类的概率，即0-1之间的数。

线性分类与线性回归差别：

• 输出意义不同：属于某类的概率
• 回归具体值参数意义不同：最佳分类直线
• 最佳拟合直线维度不同：一个是一维的回归，一个是二维的分类。

三、指数回归

现在从概率角度看问题。二分类问题可使用条件概率描述：

因为是二分类，可假设输出为{0，1}。

重新修改指标函数：

四、感知机模型

感知机原理 ：感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支持向量机的基础。感知机解决线性分类问题。

感知机从输入到输出的模型如下：

                            

五、性能优化的常用技巧

模型初始化：

简单的考虑，把所有权值在[-1,1]区间内按均值或高斯分布 进行初始化。 Xavier初始化：为了使得网络中信息更好的流动，每一层输 出的方差应该尽量相等。因此需要实现均匀分布：

训练数据与测试数据

数据包括：训练数据 、验证数据 、测试数据，通常三者比例为70%，15%，15%或60，20，20 当数据很多时，训练和验证数据可适当减少 。

原始训练数据被分成 K 个不重叠的子集。 然后执行 K 次模型 训练和验证，每次在 K−1 个子集上进行训练， 并在剩余的一 个子集（在该轮中没有用于训练的子集）上进行验证。 最后， 通过对 K 次实验的结果取平均来估计训练和验证误差。

欠拟合与过拟合

权重衰减（L2正则化）

模型初始化