目录
2 线性分类与感知机
2.1 线性回归
定义：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。
线性回归要素：(1) 训练集x；(2) 输出数据y；(3) 拟合的函数(模型)；(4) 输入数据的个数(batch size)
线性回归学习过程：为了估计所需要预测的函数，首先需要构造出这类函数的数学表达式。
需要预测的函数为：
接下来进行线性回归过程：
(1) 假设给定样本
；
(2) 构造代价(误差、损失)函数：
；
(3) 目标：找到超平面参数θ，使J(θ)最小；
(4) 求解：∂J(θ)/∂θ=0，即可得到θ
2.2 线性二分类
定义：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分。
线性二分类的主要思路是如何构造划分两类的“分界直线”，同时，由于需要两类输出的概率，所以需要将两类输出结果量化之0-1之间，此时采用Sigmoid函数。
线性分类过程：大致求解流程与线性回归相似。
(1) 假设给定样本，这里
只能取值为0，1；
(2) 构造代价(误差、损失)函数：
；
(3) 目标：找到超平面参数
，使
最小；
2.3 对数回归与多分类回归
指数回归：
多分类回归：
(1) 分类函数：
(2) 代价函数：
(3) 梯度：
2.4 神经元模型
M-P模型：
作用函数：
(1) 非对称Sigmoid函数
(2) 对称Sigmoid函数
(3) 对称型阶跃函数
Hebb规则：
3 多层前馈网络与误差反传算法
已知网络的输入/输出样本，即导师信号
BP学习算法由正向传播和反向传播组成：
① 正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。
② 反向传播是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。
BP算法的基本思想：
- 设置初始权系数w0
为较小的随机非零值； - 给定输入/输出样本对，计算网络输出, 完成前向传播
- 计算目标函数J
。如J<ε
,训练成功，退出；否则转入④ - 反向传播计算 由输出层，按梯度下降法将误差反向传播，逐
层调整权值。
前向传播：
反向传播：
(1) 输出层：
(2) 隐含层：
(3) 综合：
，与Hebb规则相似
4 性能优化
4.1 动量法
如果把原始的SGD想象成一个纸团在重力作用向下滚动，由于质量小受到山壁弹力的干扰大，导致来回震荡；或者在鞍点处因为质量小速度很快减为 0，导致无法离开这块平地。
动量方法相当于把纸团换成了铁球；不容易受到外力的干扰，轨迹更加稳定；同时因为在鞍点处因为惯性的作用，更有可能离开平地。
4.2 AdaGrad
参数自适应变化：具有较大偏导的参数相应有一个较大的学习率，而具有小偏导的参数则对应一个较小的学习率
具体来说，每个参数的学习率会缩放各参数反比于其历史梯度平方值总和的平方根
4.3 RMSProp
4.4 Adam
1635
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
