AI笔记（一）：人工智能概论

1.1人工智能

1.1.1人工智能

1、人工智能：是指让机器获得像人类一样的智能机制的技术。
2、解决抽像的概念无法用具体的代码实现，比如人类对图片的识别，对语言的理解过程，无法通过既定规则模拟。为了解决这类问题，一门通过让机器自动从数据中学习规则的研究学科诞生了，称为机器学习。
3、机器学习：通过让机器自动从数据中学习规则。
4、神经网络：在机器学习中，有一门通过神经网络来学习复杂、抽象逻辑的方向，称为神经网络。
5、深度学习：深层神经网络的新名字。
神经网络和深度学习的区别：
一般来讲，神经网络和深度学习的本质区别并不大，深度学习特指基于深层神经网络实现的模型和算法。

1.1.2机器学习

1、有监督学习：样本x和样本y，从x—>y的映射，计算预测值和真实y之间的误差优化网络参数，使得下一次预测更加精准。包括线性回归、逻辑回归、支持向量机、随机森林等。
2、无监督学习：只有样本x数据集，算法需要自己发现数据模态。其中一种算法，x—>x，自监督学习。常见的无监督学习算法有自编码器，生成对抗网络等。
3、强化学习：增强学习，与环境进行交互来学习解决问题。常见的强化学习算法有DQN、PPO等。

1.1.3神经网络与深度学习

1、将利用深层神经网络实现的算法或模型称为深度学习。
2、比较深度学习算法与其他算法。基于规则的系统一般会编写显示的规则逻辑，这些逻辑一般是针对特定任务设计的，并不适合其他业务。深度学习算法会认为设计具有一定通用性的特征检测方法。这些特征能够适合某一类的任务，具有一定的通用性。
3、浅层的神经网络的特征提取能力较为有限，深层的神经网络擅长提取深层，抽象的高层特征。

1.2神经网络的发展简史

1.2.1浅层神经网络

1、最早的神经元数学模型，称为MP神经元模型。

2、MP神经元模型并没有学习能力，只能完成固有逻辑的判定。
3、第一个自动学习权重的神经元模型，称为感知机。

4、输出值和真实值之间的误差用于调整神经元的权重参数（w1、w2、w3…）。
5、感知机等线性模型的主要缺陷：无法处理简单的异或XOR等线性不可分问题。
6、反向传播算法（BP算法），依旧是现代深度学习的核心理论基础。
7、相继提出卷积神经网络，循环神经网络，反向传播算法等算法模型。
8、BP算法（Backpropagation）应用在多层感知机。
9、应用最为广泛的循环神经网络变种之一LSTM提出。
10、双向循环神经网络提出。
11、支持向量机（SVM）为代表的传统机器学习算法兴起。支持向量机拥有严格的理论基础，需要的样本数量较少，同时拥有良好的泛化能力。相比较，神经网络理论基础欠缺，可解释性差，很难训练深层网络，性能也一般。

RNN循环神经网络。

1.2.2深度学习

1、Deep Learning（深层神经网络——深度学习）
2、线性整流单元（Recyified Linear Unit ，ReLU）激活函数
3、无监督学习和强化学习领域，生成对抗网络，通过对抗训练的方式学习样本中的真实分布，从而生成逼近度较高的图片。应用深度神经网络到强化学习领域，提出了DQN算法。

1.3 深度学习特点

1.3.1数据量

1、随着神经网络的兴起，尤其是深度学习，网络层数较深，模型的参数两成百上千万个，为了防止过拟合，需要的数据集的规模通常也是巨大的。
2、深度学习对数据集需求较高，收集数据，尤其是收集带标签的数据，代价昂贵。
3、数据集的形成通常需要手动收集、爬取原始数据，并清洗掉无效样本，再通过人类智能去标注数据样本，因此不可避免地引入主观偏差和随机误差。

1.3.2计算力

1、传统的机器学习算法并不像神经网络这样对数据量和计算能力有严苛的要求，通常在CPU上串行训练即可得到满意结果。但是深度学习非常依赖并行加速计算设备。
2、目前的大部分神经网络均使用NVIDIA GPU和Google TPU或其他神经网络并行加速芯片训练模型参数。
3、目前普通消费者能够使用的深度学习加速硬件设备主要来自NVIDIA的GPU显卡。

1.3.3网络规模

1、早期的感知机模型和多层神经网络层数只有1层或者2-4层，网络参数也在数万左右。随着深度学习的兴起和计算能力的提升，AlexNet（8层），VGG16（16层），GoogLeNet（22层），ResNet（50层），DenseNet121（121层），输入图片的大小也逐渐增大。这些使得网络的总参数量可达到千万级别。

1.3.4通用智能

1、设计一种像人脑一样可以自动学习、自我调整的通用智能机制。

1.4 深度学习应用

1.4.1计算机视觉

1、图像识别（Image Classification）：常见分类问题，神经网络的输入为图片数据，输出值为当前样本属于每个类别的概率，通常选取概率值最大的类别作为样本的预测类别。经典的网络模型有VGG系列、Inception系列、ResNet系列等。
2、目标检测(Object Detection)：是指通过算法自动检测出图片中常见物体的大致位置，通常用边界框（Bounding box）表示，并分类出边界框中物体的类别信息。
3、语义分割（Semantic Segmentation）：通过算法自动分割并识别出图片中的内容，可以将语义分割理解为每个像素点的分类问题，分析每个像素点属于物体的类别。
5、视频理解（Video Understanding）：深度学习在2D图片上取得较好效果，在具有时间维度信息的3D视频理解上受到越来越多的关注。常见的视频理解任务有视频分类、行为检视频主体抽取等。
6、图片生成（Image Generation）:

1.4.2自然语言处理

1、机器翻译
2、聊天机器人

1.4.3强化学习

1、虚拟游戏
2、机器人
3、自动驾驶

1.5 深度学习框架

1.5.3 功能演示

深度学习的核心是算法的设计思想，深度学习框架只是我们实现算法的工具。
1、加速计算：
神经网络本质是由大量的矩阵相乘，矩阵相加等基本数学运算构成，TensorFlow的重要功能就是利用GPU方便实现并行计算加速功能。
2、自动梯度：
在使用TensorFlow构建前向计算过程的时候，除了能够获得数值结果，TensorFlow还会自动构建计算图，通过它提供的自动求导的功能，可以不需要手动推导，即可计算出输出对网络的偏导数。
3、常用神经网络接口
TensorFlow除了提供底层的矩阵相乘，相加等运算函数，还内建了常用网络运算函数，常用网络层，网络训练，网络保存与加载，网路部署等一系列深度学习系统的便捷功能。