1 机器学习概述
1 .1人工智能概述
1 人工智能起源
图灵测试、达特茅斯会议
2 人工智能三个阶段
1、1980年代正式形成期
2、1990-2010年代蓬勃发展期
3、2012年之后深度学习期
3 人工智能、机器学习、深度学习三者的关系
机器学习是人工智能的一个实现路径
深度学习是机器学习的一个方法发展而来
4 主要分支
1、计算机视觉(人脸识别)
2、自然语言处理(语言识别、语义识别)
3、机器人
5 人工智能必备三要素
数据、算法、计算力
6 gpu与cpu
gpu:计算密集型
cpu:IO密集型
1 .2人工智能概述
1 定义
从数据中自动分析获取模型,并利用模型对未知数据进行预测
2 工作流程
1、获取数据
2、数据基本处理
3、特征工程
4、机器学习(模型训练)
5、模型评估
3 获取到的数据集介绍
1、专有名词:样本、特征、目标值(标签值)、特征值
2、数据类型构成: 类型一:特征值+目标值(目标值分为是离散还是连续)
类型二:只有特征值,没有目标值
3、数据划分:训练数据(训练集)——构建模型占比0.7-0.8
测试数据(测试集)——模型评估占比0.2-0.3
4 数据基本处理
对数据进行缺失值,去除异常值等处理
5 特征工程
1、定义:把数据转换成机器更容易识别的数据
2、为什么需要特征工程:数据和特征决定了机器学习的上限,而模型和算法只是通过逼近这个上限而已
3、包含内容:特征提取、特征预处理、特征降维
6 机器学习
选择合适的算法对模型进行训练
7 模型评估
对训练好的模型进行评估
1 .3机器学习算法分类
1 监督学习(有特征值,有目标值)
目标值连续——回归
目标值离散——分类
2 无监督学习(仅有特征值)
3 半监督学习
有特征值,但是一部分数据有目标值,一部分没有
4 强化学习
动态过程,上一步数据的输出是下一步数据的输入
四要素:agent、action、environment、reward
1 .4模型评估
1 分类模型评估
准确率、精确率、召回率、F1-score、AUC指标
2 回归模型评估
均方根误差(RMSE)相对平方误差(RSE)
平均绝对误差(MAE)相对绝对误差(RAE)决定系数(R^2)
3 拟合
欠拟合、过拟合