机器学习——特征工程、模型优化

 

特征工程和优化算法需要掌握的内容

1. 介绍一下ROC/AUC曲线以及意义
2. 介绍一下哑编码的计算过程及作用
3. 介绍一下词袋法和TFIDF的计算过程及作用，并介绍一下词袋法和哑编码的区别与联系
4. 介绍一下为什么L1和L2可以防止过拟合？
5. 介绍一下多项式扩展为什么可以防止欠拟合?
6. 介绍一下Logistic回归和Softmax之间的区别与联系？
7. BGD、MBGD、SGD的区别与联系。
8. 至少介绍三种优化器的执行原理/过程，并介绍这些优化器的区别。

1. 介绍一下ROC/AUC曲线以及意义

再说ROC曲线之前，先说一下FPR和TPR是什么？

FPR(假阳性率)=（负样本中被预测为正样本的个数）/（真实的负样本数量）

TPR(真阳性率)=（正样本中被预测为正样本的个数）/（真实的正样本数量）

ROC曲线：选择不同的阈值，计算出FPR和TPR值，以FPR为横坐标，TPR为纵坐标，将所有的（FPR,TPR）连成一条直线，这样就构建成了