人工智能学习笔记

 

人工智能学习笔记

1. 背景及介绍

语音识别、图像识别、大数据、深度学习

 

1.基础数据支撑区 基础层

2.人工智能技术层 技术层

3.人工智能应用层 应用层

 

skype语音聊天实时翻译

LFW人脸识别

ImageNeth图像识别

1. 人工智能技术体系

1. 通用数据 - 用户原始数据
2. 行业数据 - 标注数据

 

分布式计算-提升效率

 

深度学习 -> 机器学习 -> 人工智能

 

专家系统 - if then else

 

特征提取 - 训练 - 识别 = 人类学习

监督训练（样本） - 特征提取 - 识别 = 机器学习

 

机器学习解决问题：回归 分类 标注

 

原始样本集 - 特征样本集 - 训练集 用于训练 评价 改进

  验证集 用于验证

  测试集

 

算法：

监督学习 有标签

线性回归、逻辑回归

朴素贝叶斯 分类

神经网络

SVM支持向量机 回归 分类

Decision Tree决策树 银行发放信用卡

K-NN K最邻近

无监督学习 无标签

1. MEANS K-均值 高斯混合

强化学习

输入 输出（评价） 强化正确信号

 

算法/模型训练

构建模型- 计算代价函数-梯度下降法-得到最优参数

 

拟合 正则化项

1. 深度学习 deep neural network 深度神经网络

数据采集 - 数据预处理 - 特征提取 - 特征选择 - 学习和推理

 

特征工程（瓶颈）：数据预处理 特征提取 特征选择，深度学习优化掉

 

端到端学习

 

bp算法 后向传播算法

神经元模型 M-P模型

感知机

 

深度 - 解决大部分的非结构化数据

 

底层特征 高层特征

 

卷积神经网络 卷积层 池化层 全连接层 激活函数

 

循环神经网络 LSTM长短期记忆网络

 

Caffe

 

TensorFlow

 

Keras Pytorch MxNet

1. 神经网络和深度学习

4.1神经网络基础

逻辑回归 - 解决二分类问题

最大似然估计

损失函数 代价函数

 

梯度下降法

梯度的负方向 最佳的w

 W b

 

后向传播法

求dw

 

神经网络

 

线性输出 = 权重矩阵*x样本矩阵 + 偏置向量

 

Sigmoid 概率情况

 

Tanh(z)

 

Relu

 

Leaky Relu

 

反向传播

 

输入层

隐层

输出层

 

维数相同

 

W b

参数 超参数

 

4.2深度学习基础

带标签的数据分为训练集、验证集和测试集。

训练集：训练模型，确定模型的权重w和偏置b。

验证集：验证不同模型的性能，用于模型的超参数选择。

测试集：用于评估最终模型的泛化能力，只使用一次。

 

小数据量（100-10000）:

无验证集：70%：30% 训练集：测试集

有验证集：60%：20%：20% 训练集：验证集：测试集

100级别：

98% 1% 1%

超百万数据量

99.5% 0.25% 0.25%

 

交叉验证

Hold-out交叉验证：训练集 验证集 测试集。

K-fold K折交叉验证：原始数据集随机分为相等的K部分，将其中的1部分作为测试集，其余部分作为训练集，每次将权重清零，训练模型，确定参数；进行K（10）次，求平均参数。

留一法：每次只留下一个样本做测试集，其它样本做训练集；K折升级。

不匹配的训练集/测试集分布

偏差/方差

偏差：刻画算法本身的拟合能力，偏离越大，欠拟合。

方差：数据的扰动造成模型性能的变化。过拟合。

方差和偏差是冲突的

 

奥卡姆剃刀原理：达到目标的方法越简单越好。

 

高偏差解决：训练集

1. 选择更复杂的网络；
2. 花费更多时间；
3. 优化算法；

反复试验直到能够拟合训练集

 

高方差解决：验证集

1. 扩大样本集；
2. 正则化；
3. 更改神经网络框架；

 

模型在测试集上表现不好

扩大验证集

 

模型在实际应用上表现不好

1. 测试集未设置正确-分布不一样；
2. 代价函数评估指标有误；

 

精确率：预测正例/预测正例正确

召回率：预测正例正确/所有样本

F1 SCORE 精确率和召回率的调和

准确率

调整权重