深度学习之连续值预测的线性回归问题

一、神经元模型
每个神经元通过树突获取输入信号，通过轴突输出信号。神经元之间相互连接，构成了巨大的神经网络，从而形成了人脑的感知和意识基础。



回归的基本步骤：
1.考虑对于任何采样点，都有可能存在观测误差，我们假设观测误差变量𝜖属于均值为𝜇，方差为𝜎2的正态分布(Normal Distribution，或高斯分布，Gaussian Distribution)：𝒩(𝜇, 𝜎2)，则采样到的样本符合：𝑦 = 𝑤𝑥 + 𝑏 + 𝜖, 𝜖~𝒩(𝜇, 𝜎2)（平方）
2.求出当前模型的 所有采样点上的预测值𝑤𝑥(𝑖) + 𝑏与真实值 (𝑖)之间的差的平方和作为总误差ℒ
3.但是由于观测误差𝜖的存在，需要通过采样足够多组的数据样本组成的数据集(Dataset)：𝔻 = {(𝑥(1),𝑦(1)), (𝑥(2),𝑦(2)),… , (𝑥(𝑛), 𝑦(𝑛))}，找到一组最优的参数 𝑤∗, 𝑏∗使得均方差ℒ = 最小。梯度下降算法(Gradient Descent)是神经网络训练中最常用的优化算法.
梯度下降法简单介绍：



不断循环更新参数。