1225

word2vec两种类型：1、CBOW 2、Skig-gram。
每种都有两种策略（加速优化策略）：1、负采样 2、层级softmax。
层级softmax，使用了哈夫曼树，优化计算概率效率。
负采样不使用哈夫曼树，而是利用简单的随机采样，这种用少量噪声词汇来估计的方法，类似蒙特卡洛方法。这使得不需要计算完整的概率模型，只需要训练一个二元分类模型，用来区分真实的目标词汇和采样的噪声词汇。提高训练速度，改善所得词向量的质量。
Word2Vec并不是无监督学习。应该叫半监督学习（semi-supervised），因为虽然人类不用手工标注，但是本质上模型还是有类别学习，有反向传播的过程的。
cbow和skipgram的区别，分层softmax和負采样，負采样的采样原理，为什么要这样采样
讲一下随机森林，GBDT，XGBoost
XGBoost相比于GBDT有哪些改进
Adaboost和XGBoost的区别
Adaboost和XGBoost是怎么进行预测的
为什么用skipgram不用cbow，負采样怎么做到，公式是什么？
一面时面试官问我word2vec的目标函数是什么，我就说了是对数似然函数，然后他就问了这个形式跟逻辑斯蒂回归形式差不多，逻辑斯蒂回归使用时一般是加正则化项的，word2vec为什么没加？