二 机器学习

$$二机器学习$$

---

1. SVD

---

推荐的GitHub

https://github.com/NLP-LOVE/ML-NLP

---

实现多折交叉验证

---

在Kaggle比赛中常用集成学习方法与机器学习中的不同∶

机器学习中的集成学习:在一个模型内部，如何使用集成学习提交单个模型的精度;
Kaggle竞赛中的集成学习:对多个模型预测结果，如何使用集成学习提交最终的精度;

√机器学习中的集成学习方法:Bagging、Boosting
https://scikit-learn.org/stable/modules/ensemble.html

√Kaggle比赛中模型集成方法:Vote、Blend、Stacking

https://mlwave.com/kaggle-ensembling-guide/

---

Blend / Average

• 方法:将结果进行加权
• 用途:对数值记过进行集成

---

Stacking
在交叉验证的过程中对模型进行多折训练，对训练集和测试集统计进行预测;
out of fold可以用来进行增加特征，也可以用来进行stacking

---

• 需要配合交叉验证完成
• 模型/特征多样时收益大

---

---

• 特征工程

---

• 传统机器学习

1.机器如何学习
2.机器学习三要素：数据、模型、算法
3.模型的获取和改进
4.模型的评价指标和质量
5.最常用的优化算法—梯度下降法
6.线性回归
7.逻辑回归
8.朴素贝叶斯分类器
9.决策树
10.SVM—支持向量机
11.SVR—支持向量回归
12.HMM—隐马尔可夫模型
13.CRF—条件随机场
14.KNN—K邻近算法
15.K-Means
16.谱聚类
17.EM算法
18.GMM—高斯混合模型
19.PCA—主成成分分析
20.感知机和神经网络

---

• 传统机器学习实战

1.K邻近算法：约会网站配对、手写识别系统
2.决策树：使用决策树预测隐形眼镜类型、天池O2O优惠卷使用预测
3.朴素贝叶斯：过滤垃圾邮件、o2o
4.逻辑回归:从氙气预测病马的死亡、o2o
5.SVM:手写体识别、o2o
7.集成算法：在一个较难数据集上应用AdaBoost、o2o
8.线性回归：预测鲍鱼年龄
9.CART树：树回归和标准回归的比较、o2o
10.k-means：对地理坐标进行聚类
11.PCA:菜馆菜肴推荐系统、基于SVD的图像压缩

---

• 常用

1.目标函数（损失函数）详细说一下L1 与 L2
2.监督学习
3.GridSearch

---

• 集成学习

1.分类树、回归树
2.集成学习
3.XGboost

---

• 机器学习和神经网络

1.绪论：面向机器学习的神经网络
2.感知器的学习过程
3.线性/逻辑神经网络和反向传播
4.学习特征词向量
5.用神经网络进行物体识别
6.模型优化：如何加快学习
7.循环神经网络RNN
8.提高神经网络模型的泛化能力
9.结合多重神经网络提高泛化能力
10.Hopfield网络和玻尔兹曼机
11.限制玻尔兹曼机
12.深度置信网络
13.生成预训练的深度神经网络
14.神经网络的模型分层结构
15.深度神经网络的应用

---

实战案例：

• 房价与股市预测
• 排序与CTR预估计算广告
• KDD2013-NLP
• 能源预测与分配
• 猫狗分辨与人脸表情识别
• 电商推荐与销量预测
• 金融风控

---

数据分析：

• 时间序列数据分析
• 文本数据分析
• 图像数据处理及分析
• 量化分析