机器学习(1)——方法、困难与挑战、学习过程
机器学习分类
有监督学习(supervised learning)
- 从给定的有标注的训练数据集中学习出一个函数(形参模型),当新的数据到来时可以根据这个函数预测结果。常见任务包括分类与回归。
无监督学习(unsupervised learning)
- 没有标注的训练数据集,需要根据样本间的统计规律对样本集进行分析,常见任务如聚类等。
半监督学习(Semi-supervised learning)
- 结合(少量的)标注训练数据和(大量的)未标注数据来进行数据的分类学习。
- 两个假设:聚类假设,流形假设。
增强学习(Reinforcement learning)
- 外部环境对输出只给出评价信息而非正确答案,学习机通过强化受奖励的动作来改善自身的性能。
多任务学习(Multi-task learning)
- 把多个相关的任务放在一起同时学习。
- 相关联的多任务学习比单任务学习具备更好的泛化效果。
困难与挑战
困难
- 数据稀疏性
- 高数量和高质量标注数据需求
- 冷启动问题:新产品初期数据不足
- 泛化能力问题:不全面,不均衡
挑战
- 模型抽象困难
- 模型评估困难
- 寻找最优解困难
- 容量(核心问题之一),速度,在线学习(更新)
学习过程
-
数据预处理:数据清洗,数据集成,数据采样
- 数据清洗:对各种脏数据进行对应方式的处理,得到标准、干净、连续的数据,提供给数据统计、数据挖掘等使用
- 数据的完整性,数据的唯一性,数据的合法性,数据的权威性,数据的一致性
- 数据采样:数据不平衡
- 数据集的类别分布不均,不能反映模型的好坏
- 解决方法:过采样,欠采样
- 数据集拆分:训练数据集,验证数据集,测试数据集
- 常用方法:留出法,K-折交叉验证法(K值通常为10)
- 数据清洗:对各种脏数据进行对应方式的处理,得到标准、干净、连续的数据,提供给数据统计、数据挖掘等使用
-
特征工程:特征编码,特征选择,特征降维,规范化
- 特征编码:one-hot编码,语义编码
- 特征选择方法:过滤法,包裹法,嵌入法
- 特征降维:主成分分析(PCA),线性判别分析(LDA)
- 规范化方法:标准化,区间缩放,归一化
-
数据建模:回归问题,分类问题,聚类问题,其他问题
- 分类问题:决策树,贝叶斯,支持向量机,逻辑回归,集成学习
- 回归问题:线性回归,岭回归,Lasso回归
- 聚类问题:K-means,高斯混合聚类,密度聚类,层次聚类,谱聚类
- 其他问题:隐马尔可夫模型,LDA主题模型,条件随机场,神经网络,深度学习
-
结果评估:拟合度量,查准率,查全率,F1值,PR曲线,ROC曲线