（imooc）神经网络简介

课程背景

image.png

image.png

image.png

什么是神经网络

image.png

image.png

图像语音密集矩阵
文本稀疏矩阵

课程安排

image.png

网络结构

image.png

eg 在图中四个隐含层，一个输出层
从x到y 一个预测的过程
更深的网络比更宽的网络在计算上节省，当深度层增加，每一层增加一个解，见微知著，不断剖析，对应神经网络的深度增长。
每一个神经元的设计体现非线性分析
对每一个神经元

image.png

这是一个神经元结点的结构

第一部分：对输入线性组合
第二部分：进行非线性处理 g（z）对线性组合转化成非线性的结果

逻辑回归

最小的结构单元：每个神经元节点独立具有判断问题的能力，该结点本身是一个逻辑回归的模型

对单独一个神经元

image.png

同样可以进行机器学习的过程，左侧输入，右侧输出（预测值），通过W和B这两个参数对x进行线性化，通过激励函数的到预测值

激励函数

image.png

image.png

模拟神经元被激发的状态变化（非线性），对大脑中的传递递质的动作模拟

常用神经元

image.png

RELU简单常用，是首选

损失函数

评价学习y值与预期y值

image.png

梯度下降

通过渐进性方式调整整个函数的形态or performance

zhidao

调整参数为W b 找到合理组合使得机器学习得到的y值与现实中监督的真正y值一致，从而指导预测结果

image.png

根据运算结果预测值x0在凸的部分进行数学处理。。。。

（：=代表同步更新）
在进行运算，指导w.b趋向稳定值

网络向量化

传播过程

image.png

输入到隐含层，四个隐含层生成一个输出值，即训练得到的y值

image.png

image.png

写成对应的矩阵表达式

image.png

把这种简单模型进行推广
对比较大的神经网络
得到层与层之间的关系

y

网络梯度下降

*对神经元的参数的调教（反向传播）
通过运算结果逆向调整wb参数

向前传播的规则

image.png

对每一层

image.png

训练过程

image.png

eg。简单神经网络

image.png

一次运算完成后，翻过来更新wbyua

再进行运算，再更新。
反复这两个训练过程

image.png

按层计算，算好后更新

总结

image.png