hero_fantao的专栏

Facebook 在2016年第一次对外公开FastText算法时候，应该是引起很大一番讨论，因为论文提到他以更快的速度达到和DNN类似的效果。这里不再争论这点。当时吸引我一点的是他在大规模数据集上的扩展性和速度上都很棒，因为这两点十分适合工业界应用。当时正好在做query意图识别相关的任务，语料也是几百万。最开始拿的是Navie Bayies做baseline，Navie Bayies这种生成模型在大语料下不仅训练耗时，关键让人失望的是，预测速度变得也不那么快。基于当时的现状，我觉得我可以接受些许准确率损

前面分享了word2vector，这里想再提下这篇文章，这篇文章是ACL2015上面的一篇paper。之前在用word2vector一直在想，怎么把词向量用在分类模型中？ 一篇文档可以用各个词的词向量加权平均或者直接用paragraph2vector构建文档向量，再利用lr，gbdt等分类模型就可以了。但是这里面还有些问题：（1）word2vector忽略了文档词序； （2）如果分类样本比较少，直

告诉大家什么是Autoencoder？ 他的形式有哪几种？对于Autoencoder，相信大家开始听到这个名字并熟悉是因为深度学习火起来后。由于深度神经网络网络层数越来越多，反向传播算法（BP）在模型参数学习时候十分容易陷入局部最小和梯度消散，使得模型训练难度增大。Autoencoder正式因为这样的原因而被引入到深度学习中，通过先预训练的方式来缓解BP的一系列问题。

这里分享下之前关于深度学习在图像目标识别检测上一些主流技术以及在家装类别上识别效果demo。

quora duplicate questions：Semantic Question Matching with Deep Learning 本文参考了quora duplicate questions 技术文档：https://engineering.quora.com/Semantic-Question-Matching-with-Deep-Learninghttp:

Automated Response Suggestion for Email

前言       在FastText 那章节，提到了word2vector。这里就专门分享下word2vector的一些技术细节吧。第一次深入调研word2vector是在15年下半年的时候，当时团队leader希望我来负责这块技术在文本挖掘项目的的落地。15年那会，我调研的时候，这块技术在国内已经传播很广泛了，各种技术应用和分享都很多，这对我来说是一件非常利好的事情（站在巨人的肩膀上，哈哈）