深度学习2-线性单元和梯度下降

一、线性单元

定义：线性单元是一种特殊的感知器，即当数据集线性不可分的时候，“感知器规则”可能无法收敛导致无法完成感知器的训练，于是我们用一个线性可导的线性函数代替感知器的跃迁函数。

原本的感知器

线性单元：

跃迁函数替换成激活函数后，线性单元返回的是一个实数值而不是0或1

 

线性模型：y是输入特征x1,x2...的线性组合

二、监督学习和无监督学习

监督学习与无监督学习的目的：通过模型训练获得参数w的值

监督学习：提供大量训练样本，每个训练样本包括输入特征x与对应的输出y

已知量：特征x，标记y（实际值），h（x）线性组合函数模型

通过h（x）模型得到预测值，通过数学方法让y与越接近越好，可以用下面的e代表其接近程度，e叫做单个样本的误差

 E代表整个模型的误差：

无监督学习：提供大量训练样本，每个训练样本只有输入特征x而没有对应的输出y

 三、优化问题

模型的训练，目的是高速且准确（E（w）取最小值）找出参数w的值，E（w）也被称为目标函数

梯度下降优化算法

梯度下降算法公式： 

式2代入上式

 推导△E(w）后带入上式得

 随机梯度下降算法（SGD）

遍历数据中所有样本的算法叫做批梯度下降（BGD），但计算量太大。SGD算法中，每次更新w的迭代，只计算一个样本，效率大大提升