目录
一、神经网络简介
神经网络是一种有监督的机器学习算法，神经网络当成一种特征提取的方法，神经网络追求是什么样的的权重参数适合当前任务。
二、深度学习要解决的问题
机器学习流程：数据获取，特征工程，建立模型，评估与应用。最重要的是特征工程，前面学了那么多算法，归根到底，模型都是根据特征来进行训练。
特征工程的作用：
数据特征决定了模型的上限。
预处理和特征提取是最核心的。
算法和参数决定了如何去逼近这个上限。
机器学习问题：人工选择数据，人工选择特征，人工选择算法，人工选择结果。（说白了就是实现了数学公式）
深度学习，神经网络：解决了特征工程的问题
对于文本，图像数据去提取特征难，放在深度学习，神经网络里，就很好解决。
可以把深度学习，神经网络当作一个黑盒子，它能自动的去提取特征（它认为的最合适的特特征）它是真正有学习过程的，它可以真正的去学习什么样的特征是最合适的，有了特征，当成输入+线性回归、逻辑回归、SVM等等都行。
三、深度学习的应用
最常见、最广泛的应用是计算机视觉（人脸识别等）、自然语言处理（ChatGpt）。
那么是否也存在缺点呢？看如下图
随着数据规模的提升，计算量太大，参数多，速度慢，比如手机端人脸识别，会出现识别延时的现象。
提一下数据生成：对于庞大的训练数据，数值数据可以采用一些数学工具包生成，对于图像数据可以对图像进行翻转、镜面变换、平移等等，容易得到。
四、计算机视觉
最经典的图像分类任务。我们看看在计算机里图像是怎么表示的吧。
例如：一张300*100*3的猫咪图像 300：High 100：wight 3:三个颜色通道RGB
它是由一个一个像素点组成的，每个像素点的值0~255，值越大颜色越浅。它被表示为三维数组的形式。
用数值形式表示如：
五、计算机视觉面临的挑战
拍摄图像有照射角度，形状改变，部分遮蔽，背景混入的现象。
机器学习的常规套路：
收集数据并给定标签
训练一个分类器
测试评估
我们用KNN算法来做图像分类任务
K近邻算法：算法流程
1. 计算以知类别数据集中的所有点与当前的距离
2. 按照距离依次排序
3. 选取与前点距离最小的K个点
4. 确定前K个点所在类别的概率
5. 返回前K个点出现的频率最高的类别作为当前点预测分类
数据集：CIFAR-10数据库，10类标签，5000个训练数据，10000个测试数据，大小为32*32*3
用KNN来进行图像分类
距离的选择：L1 distance : (像素点对应相减)
图像距离计算方式：
一个栗子：
测试结果：部分还可以，没有分类对的图像，问题出现在哪里？？？
为什么K近邻算法不能用图像分类：
我们关注的是主体（主要成分），而背景主导是一个最大的问题，那么如何才能让机器学习到那些是重要的成分呢？
六、得分函数
线性函数（得分函数）
从输入-->输出的映射
七、损失函数
假设分三类：cat,dog,ship
计算方法：
决策边界，多维数据，多组权重参数构成了决策边界
如何衡量分类结果呢？
上图所示：结果的得分值有着明显的差异，我们需要明确的指导模型表示当前效果有多好或是有多坏！！！
引入损失函数：
其中：表示错误类别得分，
表示正确类别的得分，
表示容忍程度，即正确类别的得分至少比错误类别高1
例如有三个测试样本：
| 正确类别 | ||||
| 预测类别得分 | （样本1）猫 | （样本2）车 | （样本3）蛙 | |
| cat | 3.2 | 1.3 | 2.2 | |
| car | 5.1 | 4.9 | 2.5 | |
| frog | -1.7 | 2.0 | -3.1 | |
则损失值：
同理：
由损失值可以看出样本2是分类正确的
如果损失函数的值相同，那么意味着两个模型一样吗？？
假设：
输入数据：
模型A：
模型B：
得到：
一样吗？？显然是不一样的，可以看出来模型A只是利用了第一个参数，而模型B均等利用4个参数，B显然更好，那么怎么去区分这两个模型呢？？或者说怎么去让模型A变得平滑，让它不那么极端呢？？
答案是正则化。即加入正则化惩罚项。
即：
正则化惩罚项：
目的：神经网络过于强大，几乎90%的神经网络都会过拟合，不要让它太复杂，过拟合的模型是没用的。
softmax分类器：
现在啊，我们得到是一个输入的得分值，损失函数也是基于得分值的损失。但是直接给我们一个概率值岂不是更好！！！那么如何把一个得分值转化成一个概率值呢？
即sigmoid函数：
归一化：
计算损失值：
| cat | 3.2 | ----> exp | 24.5 | ---------> normalize | 0.13 |
| car | 5.1 | 164.0 | 0.87 | ||
| frog | -1.7 | 0.18 | 0.00 | ||
| 得分 | 放大 | 归一化 | 概率 |
八、前向传播
前向传播：一步一步的往前走，得到概率值，损失值
前向传播很好理解。
经过前向传播得到是损失值，但是怎么更新（参数，权重）模型呢？？
这就交给反向传播了。
九、反向传播
经过前面的学习我们知道在做线性回归时，我们让目标函数
即损失函数最小化
经过求解梯度，更新参数theta
那么放在神经网络也是用梯度下降的方法，具体是怎么样实现的呢？
举一个例子：
如上所示：计算梯度需要逐层计算（链式法则）
可以一个一个计算，也可以一大块一大块计算
十、神经网络架构细节
层次结构：4层
神经元：9
全连接：每一层都与下一层全部连接
我们看到中间的箭头，实际是有箭头的吗？？？哈哈哈哈，并不是，中间就是权重参数矩阵，输入层输入两个特征，经过W1矩阵变换到5个特征，怎么变得呢？？黑盒子！！！然后经过W2变换成4个特征，最后输出。
非线性变化：之前我们提到过神经网络是一层一层的，那么：
为啥呢？？即在每一层后面都加有非线性变换，可以联想到之前的将得分值转化为概率值与之类似。
其基本结构：
继续堆叠一层：
神经网络的强大之处在于，用更多的参数来拟合复杂的数据
参数多到百万级都是小儿科，但是参数越多越好吗？？
十一、神经元的个数对结果的影响
并不是哦！！！过满则亏。
大家想一下，增加一个一个神经元九就了一组参数。
还是那句话，神经网络非常容易过拟合！！！！！！
十二、正则化与激活函数
正则化的作用：
惩罚力度对结果影响
防止过拟合
激活函数：
非常重要的一部分
常用的激活函数（Sigmoid,Relu,Tanh）非线性变换（把得分值转换为概率值）
激活函数的对比
sigmoid:
我们看到当数值偏大的时候，比如x=6时，求导后值几乎为零，梯度消失，如果向后传播， 对后面的影响几乎没有，所以这是存在限制的。
当今更多使用Relu这个激活函数：
求导值不变。
十三、神经网络解决过拟合的方法
数据预处理，标准化
参数初始化，通常我们都使用随机策略来进行参数初始化
正则化
DROP—OUT(自损八百)
思想：让效果消弱
即在某次正反向传播中，每一层随机杀死一部分神经元，不让参与。相当于一个比例：30%，每次让30%的神经元不参与训练。
21万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
