人工智能学习前的简单了解

一、人工智能

1.定义

人工智能是用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能就是模拟人的思维的过程。该领域的研究包括机器人、语言识别、图像识别、自然语言处理等。

人工智能现如今广泛使用在我们生活周围，比如小区进出或者支付时的人脸识别、指纹识别技术；红绿灯摄像头拍摄违章行为；汽车的自动驾驶等等

2.人工智能三要素

数据、算法、计算力（CPU（适用于I\O密集型）、GPU（适用于计算密集型））

3.人工智能、机器学习、深度学习

人工智能 包含》 机器学习 包含 》深度学习

机器学习：

是实现人工智能的一种实现途径。是从数据中自动分析获取模型，并用该模型对其他未知数据进行预测。

深度学习 —— 神经网络：

深度学习（Deep Learning）（也称为深度结构学习、层次学习或者是深度机器学习）是一类算法集合，是机器学习的一个分支。它主要是由神经网络发展而来

神经网络是仿造我们人类的神经元结构

举个栗子：要实现去买菜（人工智能），机器学习就是如何去买（去实现），而深度学习就是如何更省钱更省时间的去买菜

4.人工智能分支

(1)计算机视觉(CV)

指机器感知环境、图像等能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。**物体检测和人脸识别是其比较成功的研究领域。**如人脸识别、图像内容采集等等。

(2)自然语言处理(NLP)

指机器感知和处理文字、语言等能力，即和语言文字相关的技术

①语音识别

识别语音从而从中提取出需要的信息的技术。如手机的智能助手（小爱、Siri、小布等等），输入法的语音输入等等。

②文本挖掘/分类

**这里的文本挖掘主要是指文本分类，该技术可用于理解、组织和分类结构化或非结构化文本文档。**其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

③机器翻译

即通过机器使得一种语言翻译成另一种语言，如有道翻译、百度翻译等等

(3)机器人

研究机器人的设计、制造、运行和应用。分为两大类：固定机器人和移动机器人。

固定机器人常用于工业生产，移动机器人如Sophia、自动驾驶汽车、自动送货车等等

二、机器学习

1.工作流程

1. 获取数据

2. 对数据基本处理：对数据进行缺失值、去除异常值等处理

3. 特征工程：使用专业知识和技巧处理获取的数据，使得数据的特征更适合处理，方便之后的模型训练。

   • 特征提取：将任意数据（如文本或图像）转换为可用于机器学习的数字特征
   • 特征预处理：通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
   • 特征降维：指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程

   数据的特征：

   如一个短信，其特征有：电话号、短信内容、发送时间等等

4. 机器学习（模型训练）：对处理好的数据进行模型训练

5. 模型评估：对模型进行评估，若模型不合格则重新进行上述操作

2.数据

在数据集中一般：

• 一行数据：样本

• 一列数据：特征

• 有些数据有目标值（标签值），有些数据没有目标值

  标签是我们要预测的事物，即提前给预测判定的结构，如要预测商品价格高低，可以提前预测标签为：“高”“中等”“低”

(1)数据类型构成

• 数据类型一：特征值+目标值（目标值是连续的和离散的）
• 数据类型二：只有特征值，没有目标值

(2)数据分割

机器学习一般的数据集会划分为两个部分：

• 训练数据：用于训练去构建模型
• 测试数据：在模型检验时使用，用于评估模型是否有效

为了模型的训练和测试，把数据集分为：

训练数据（70%-80%）和测试数据（20%-30%）

三、机器学习算法分类

通过数据集组成不同，可以把机器学习算法分为：

1. 监督学习
2. 无监督学习
3. 半监督学习
4. 强化学习

1.监督学习

输入数据是由输入特征值和目标值所组成。目的是预测结果。

举个栗子：如判断商品价格是上升还是下降、判断汽车是否超速等等，其中目标值即“上升”、“下降”；“未超速”，“超速”

• 函数的输出可以是一个连续的值(称为回归），如某商品的价格预测模型，其样本集拟合出一条连续曲线
• 或是输出是有限个离散值（称作分类），如判断一个小动物是狗还是猫，得到的结果是离散的

2.无监督学习

输入数据是由输入特征值组成，没有目标值。目的是发现数据潜在的结构。

举个栗子：如对于一群人进行分类，不对其设置目标值，那么可以是按照性别分类，也可以按照身高分类，还可以按照穿衣颜色等等。

• 输入数据没有被标记，也没有确定的结果。样本数据类别未知；
• 需要根据样本间的相似性对样本集进行类别划分。

3.半监督学习

输入数据是由输入特征值组成，**一部分有目标值，一部分没有目标值。**降低数据标记的难度。

训练集同时包含有标记样本数据和未标记样本数据。

4.强化学习

实质是make decisions 问题，即自动进行决策，并且可以做连续决策。强化学习的目标就是获得最多的累计奖励。

	监督学习	强化学习
反馈映射	输出的是之间的关系，可以告诉算法什么样的输入对应着什么样的输出。	输出的是给机器的反馈 reward function，即用来判断这个行为是好是坏。
反馈时间	做了比较坏的选择会立刻反馈给算法。	结果反馈有延时，有时候可能需要走了很多步以后才知道以前的某一步的选择是好还是坏。
输入特征	输入是独立同分布的。	面对的输入总是在变化，每当算法做出一个行为，它影响下一次决策的输入。

	In	Out	目的	案例
监督学习 (supervised learning)	有标签	有反馈	预测结果	猫狗分类 房价预测
无监督学习 (unsupervised learning)	无标签	无反馈	发现潜在结构	“物以类聚，人以群分”
半监督学习 (Semi-Supervised Learning)	部分有标签，部分无标签	有反馈	降低数据标记的难度
强化学习 (reinforcement learning)	决策流程及激励系统	一系列行动	长期利益最大化	学下棋

独立同分布：

输入空间中的所有样本服从一个隐含未知的分布，训练数据所有样本都是独立地从这个分布上采样而得。

（1）独立：每次抽样之间没有关系，不会相互影响

举例：给一个骰子，每次抛骰子抛到几就是几，这是独立；如果我要抛骰子两次之和大于8，那么第一次和第二次抛就不独立，因为第二次抛的结果和第一次相关。

（2）同分布：每次抽样，样本服从同一个分布

举例：给一个骰子，每次抛骰子得到任意点数的概率都是六分之一，这个就是同分布

（3）独立同分布：i.i.d.，每次抽样之间独立而且同分布

四、模型评估

按照数据集的目标值不同，可以把模型评估分为

• 分类模型评估

• 回归模型评估

  如上面说到的一样

  • 回归：函数的输出可以是一个连续的值，如某商品的价格预测模型，其样本集拟合出一条连续曲线
  • 分类：输出是有限个离散值，如判断一个小动物是狗还是猫，得到的结果是离散的

1.分类模型评估

准确率

• 预测正确的数占样本总数的比例。

其他评价指标还有：精确率、召回率、F1-score、AUC指标等

2.回归模型评估

均方根误差（Root Mean Squared Error，RMSE）

• RMSE是一个衡量回归模型误差率的常用公式。 不过，它仅能比较误差是相同单位的模型。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LUrYLiei-1651811756027)(image\均方根误差.png)]

其他评价指标：相对平方误差（Relative Squared Error，RSE）、平均绝对误差（Mean Absolute Error，MAE)、相对绝对误差（Relative Absolute Error，RAE)

3 拟合

模型评估用于评价训练好的的模型的表现效果，其表现效果大致可以分为两类：过拟合、欠拟合。

当算法在某个数据集当中出现训练数据训练的很好并且误差也不大，但在测试集上面有问题，这可能就出现了拟合问题。

(1)欠拟合

欠拟合（under-fitting）：学习到的特征太少，以至于区分精度不高，即模型学习的太过粗糙，连训练集中的样本数据特征关系都没有学出来。

(2)过拟合

过拟合（over-fitting）：所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越（即学到的特征过多，即学了很多无用的特征），导致在测试数据集中表现不佳。

举个栗子：一个男人头发短，过拟合就是训练过头，测试时将头发长短当作区别性别的特征。

精度不高，即模型学习的太过粗糙，连训练集中的样本数据特征关系都没有学出来。

(2)过拟合

过拟合（over-fitting）：所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越（即学到的特征过多，即学了很多无用的特征），导致在测试数据集中表现不佳。

举个栗子：一个男人头发短，过拟合就是训练过头，测试时将头发长短当作区别性别的特征。