深度学习-1简单的神经网络原理

理解简单的神经网络

深度学习 最大的优点是特征工程 （提取特征值）
神经网络 就像一个黑盒子 输入 x, 输出 f(x) 存在f(x）=wx+b的关系 x是权重矩阵 b是偏置矩阵 分类或者回归任务时候 根据标签 y 和预测值f(x) 的损失 不断更新权重 w 和偏置b 当损失最小 接近于0 时候 用w b去部署应用

举例说明 假如现在需要用神经网络做CIFAR-10 分类
cifar-10 图片是 32323 的图片 分10类
1得分函数
f(x)=wx+b
w是10行 3072列的矩阵 b是 一列10行的矩阵
样本有几类 就有几列 样本有多少特征值 w就有多少行
x 是 1列3072行的矩阵

f(x)是一列 10行的矩阵 每列代表每个类别的得分

2计算损失函数
计算标签和f（x）的损失

为了防止过拟合 加惩罚项

开始得出的是数值 用softmax转换成概率

softmax 原理 先把损失值通过f(x)=e^x 函数 加大差距 然后根据所有分类的打分 归一化 得出概率值
然后用log函数 算出损失值
这个过程就是神经网络的前向传播