机器学习（一）简单介绍

🌟观看周莫烦频道总结🌟
人工神经网络：正向反向（错误差别）传播来更新神经元， 从而形成一个更好的神经系统，本质上是一个能让计算机处理和优化的数学模型。计算机需要大量数据进行大量的训练，每个神经元都有属于他的激励函数（activation function）
激励函数：解决不可用线性方程表示的问题


激励函数可以自己定义但是必须可以微分，保证误差反向传递。
CNN推荐relu
RNN推荐relu or tanh

神经网络黑盒不黑：输入端（feature）-（feature representation寻找代表特征）神经网络-输出端

**（optimization优化）：**加速训练
1.SGD：每次使用批量数据放入NN并不是全部数据
2.在更新参数时

3.在学习率上

4.结合2.3

🌟加速收敛

神经网络：梯度下降 gradient descent
简单理解梯度为导数
误差方程（cost function）：
找到W参数的最理想值，即梯度线躺平的点

通常会有多个W 故有局部最优解和全局最优解

🌟卷积神经网络：CNN
卷积：对图片上每一小块区域像素区域的处理，加强了对图片信息的处理，使神经网络能看到图形而非点。

有一个批量过滤器，持续不断的在图片上滚动收集信息，每一次收集的都是一小块像素区域的信息，把收集来的信息进行整理，整理出来的信息有一个实际上的实现，比如可以看出边缘的图形信息。在用批量过滤器扫过边缘信息，神经网络通过这些信息找出更高级的信息。再经过一次过滤总结，最后将这些信息套入普通的全联接神经网络分类，得到输入图片分为哪一类。

黑白照片高为1，彩色为红绿蓝3。例如：
1.

2.过滤器收集：理解为收集到的是高度更高，长宽更小的图片（包含了边缘信息）

3.再进行多次卷积，嵌入普通神经层

4.在每次卷积时神经层会无意的丢失一些信息，用pooling解决，卷积时不压缩长宽，保留更多信息，压缩交给池化，有效提高准确性。

5.输入图片-卷积-池化处理卷积信息-卷积-池化-传入两层全联接神经层-分类器

🌟循环神经网络：RNN
分析图片、写论文、写脚本、作曲等等。普通数据关联NN不能实现，让NN存入之前的记忆一起分析。

每次RNN都会产生一个对状态的描述S（t）t代表时刻。有多种形态一个x多个y或者多个x一个y

🌟LSTM RNN（长短期记忆）
普通RNN健忘
当产生错误时返回
w小于1时梯度弥散，w大于1梯度爆炸：无法回忆久远记忆

LSTM：多了三个控制器
忘记（替换）、输入：分线改变了了主线，主线更新

🌟神经网络的非监督学习 自编码
当神经网络要收集大量信息，对比黑白x误差进行返航传递，进行训练提高自编码准确性，没用x对应的数据标签（非监督）；通常只用前半部分监督器，用原数据精髓分类（PCA）给特征属性降维。

🌟生成对抗网络：GAN
凭空捏造（没有意义的随机数 ）

generator根据随机数生成有意义的数据，discriminator学习如何判断那些是生成数据那些是真实数据，并反向传递给generator，让generator生成的数据更真实。

🌟迁移学习
仅仅改变输出层，再训练，即站在巨人的肩膀上。

🌟 怎么检验神经网络
训练数据（百分之七十）-测试数据
从误差开始检测
过拟合（overfitting）机器学习过于自信不可表达除了训练数据以外的数据：
1.增加数据量
2.用L1，L2 regularization正规化
W包含要学习的参数seita

误差：让误差和最小由图表示为两个函数的交点。
L1:选择对结果贡献最大的特征点，但它的结果不稳定

3.dropout解决
随机忽略一些神经元，不依赖于特定神经元


精确度检测

R2 score （对回归而言）
f1 score（对不均衡数据）

交叉验证：调参，横坐标为参数
🌟 为什么要特征标数据标准化
使得数据跨度统一，加快学习速度，避免学的扭曲。

mean：平均值
std：方差

🌟怎么选择一个好特征
更轻松辨别类别
避免无意义的信息
避免重复的信息
避免复杂的信息

🌟批标准化
让每一层的值在有效的范围内传递下去