人工智能基础:
分支:人工智能、机器学习、深度学习;
主要分支:机器视觉CV(人脸识别)、自然语言处理NLP(语言识别、语义识别)和机器人;
人工智能三要素:
数据、算法、计算力GPU;
GPU(计算力)、CPU(IO运行)
机器学习的流程:
数据->自动分析过的模型->预测->从数据中获得模型,并利用模型对未知数据进行预测。
工作流程:
步骤:获取数据、数据基本处理、特征工程、机器学习(模型训练)、模型评估;
数据集:
样本、特征、目标值、特征值;
数据类型构成:
- 有特征值和目标值;
- 只有特征值,没有目标值;
数据分割:
训练数据(构建模型0.7-0.8)、测试数据(模型评估0.2-0.3);
数据处理:
对数据异常、缺失等情况进行处理;
特征工程:
使用专业背景知识和技巧处理数据,是特征功能在机器学习算法上发挥更好的作用的过程。
步骤:
特征提取->特征预处理->特征降维(降低随机变量的个数);
模型评估:对模型进行评估;
机器学习算法分类:
监督学习、无监督学习、半监督学习、强化学习。
- 监督学习:
- 有特征值和目标值(回归问题、分类问题)
算法分类:K-近邻、贝叶斯、决策树与随机森林、逻辑回归、神经网络;
- 无监督学习:
只有特征值,没有目标值(聚类:划分类别)
算法分类:聚类k-means,降维;异常检测、可视化
- 半监督学习
有特征值,但是一半数据有目标值,一部分没有目标值;
- 强化学习:
动态过程:上一步的输出是下一步的输入;
四要素:agent、action、environment、reward(反馈);
算法分类:马尔科夫决策、动态规划;
模型评估:
准确率、精确率、召回率、F1-score、AUC指标;
回归模型评估:
均方根误差、相对平方误差、平均绝对误差;相对绝对误差、决定系数
拟合:
- 欠拟合:特征值太少;
- 过拟合:特征值过多;