最近学习神经网络的一点总结

一、神经网络跟线性回归比较：
1.计算输出的方式：
线性回归基本就是解释变量（输入）的线性组合再加一个随机扰动项就得到输出；而神经网络是每个神经元（除去输入层神经元）都将输入进行线性组合再加一个随机扰动项（偏置，阈值的相反数）之后再用一个激活函数（逻辑函数）进行变换作为输出，依次进行，直到进行到输出层。
2.对参数值的估计：
线性回归一般用的是最小二乘估计法，而神经网络的是梯度下降法（目前学习到的方法）。感觉这两种方法的思想都是一样的，即使得模型估计的输出与期望输出之间的误差尽可能的小。
对于有一组样本，线性回归使用误差平方和最小；而神经网络是针对一个样本，算一个二次损失函数（MSE），j再将这组样本算出来的n个二次损失函数求平均值，目标是这个损失函数最小。
二、梯度下降与随机梯度下降
损失函数可以看做关于参数的多元函数，而多元函数C：ΔC = ∇C * Δv,所以就要用梯度下降法来估计参数（沿着梯度方向，函数增长最快；沿着梯度反向，函数减小最快）。损失函数计算的是平均值，所以也要针对每一个样本计算梯度，然后计算平均值，当样本数量过大的时候，这是非常消耗时间的，所以出现了随机梯度下降，即将n个样本随机分成 n/m 批小批量数据（小批量数据是m个样本），再循环利用每一批小批量数据去更新参数。