随便学深度学习（总述）

1.深度学习要解决的问题

1.1特征工程的作用

1）数据特征决定了模型的上限

2）预处理和特征提取是最核心的

3）算法与参数选择决定了如何逼近这个上限

2.深度学习应用领域

无人驾驶、人脸识别、医学应用（细胞检测、基因组合）、人脸转换

3.计算机视觉任务

3.1计算机视觉

一张图片被表示成三维数组的形式，每个像素的值从0到255。

例如：300*100*3（3个颜色通道）

3.2计算机视觉面临的挑战

1）照射角度

2）形状改变

3）部分遮蔽

4）背景混入

3.3机器学习常规套路

1）收集数据并给定标签

2）训练一个分类器

3）测试、评估

3.4K近邻计算流程

1)计算已知类别数据集中的点与当前点的距离

2）按照距离依次排序

3）选取与当前点距离最小的K个点

4）确定前K个点所在类别的出现概率

5）返回前K个点出现频率最高的类别作为当前点预测分类

4.得分函数（线性函数）

y=kx+b

W:训练的模型；X：原始数据（图像）；b:微调

5.损失函数

+1：对错误率的容忍程度

6.前向传播整体流程

7.反向传播

8.神经网络

层次结构：一层一层变换数据；神经元：数据的量或数据的大小；非线性变换  

9.激活函数

        在神经网络中，激活函数是一种非线性函数，它将输入信号转换为输出信号。它的作用是引入非线性特性，使神经网络具备更强的表达能力和学习能力。常用的激活函数包括：

1. Sigmoid函数（Logistic函数）：将输入值映射到取值范围在0和1之间的连续输出。它的公式为f(x) = 1 / (1 + e^(-x))。

2. 双曲正切函数（TanH函数）：将输入值映射到取值范围在-1和1之间的连续输出。它的公式为f(x) = (e^x - e^(-x)) / (e^x + e^(-x))。

3. ReLU函数（Rectified Linear Unit函数）：ReLU函数将输入值为负数时置为0，输入值为正数时保持不变。它的公式为f(x) = max(0, x)。

4. Leaky ReLU函数（Leaky Rectified Linear Unit函数）：与ReLU函数类似，但在输入值为负数时引入一个小的斜率，以解决ReLU函数在负数区域可能出现的“死亡神经元”问题。它的公式为f(x) = max(0.01x, x)。

5. Softmax函数：适用于多分类问题，将原始的实数输出转换为表示概率分布的向量。它的公式为f(x_i) = exp(x_i) / sum(exp(x_j))，其中sum(exp(x_j))表示在所有类别上的指数函数求和。

10.数据预处理

数据预处理：1.中心化：减去均值；2.标准化：除去标准差。

11.神经网络过拟合解决办法

12.卷积神经网络

左侧：NN;右侧：CNN（三维：h*w*c）

卷积层：提取特征；池化层：压缩特征；全连接层

12.1步长

12.2卷积核尺寸

12.3边缘填充

边界点被利用次数少，弥补边缘特征被充分利用

添加0，防止引入其他影响

12.4卷积核个数

12.5池化层的作用

压缩or下采样

12.5.1最大池化 MAX POOLING

得到最大值（只挑重要的）

13.卷积神经网络整体网络架构

卷积层+激活函数（线性变换）、两次卷积一次池化 

14.VGG网络架构

15.感受野的作用

16.RNN网络架构

17.词向量模型通俗解释

自然语言处理-词向量模型-Word2Vec