目录: 1、排序模型为什么一般都是从LR到GBDT再到DNN进行迭代的? LR GBDT DNN 2、分类问题为什么大都使用交叉熵作为损失函数而不是MSE? 3、过拟合与欠拟合 过拟合over-fitting 欠拟合under-fitting 如何判断过拟合还是欠拟合 如何防止过拟合 如何解决欠拟合 4、梯度与学习率 什么是梯度? 梯度的几何意义 梯度下降法及相关概念 5、L1正则化、L2正则化 L1正则化和L2正则化的定义: L1正则化和L2正则化的作用: 6、word2vec优化方法的层次softmax和负采样 传统的神经网络语言模型下的CBOW与SkipGram word2vec为什么使用霍夫曼树 如何用层次softmax计算概率 为什么要用负采样或者层次softmax Hierarchical Softmax的的缺点及负采样的优势 7、XGBOOST与GBDT GBDT概述 XGBOOST概述 GBDT的优缺点 XGBOOST对GBDT进行的优化 XGBoost算法主流程 GBDT与XGBOOST的损失函数 为什么xgboost要用泰勒展开,优势在哪里? 8、关于机器学习样本不平衡的问题 欠采样