笔记
文章平均质量分 71
StellaLiu萤窗小语
这个作者很懒,什么都没留下…
展开
-
nlp3
我们知道,Word2vec 本质上是一个语言模型,它的输出节点数是 V 个,对应了 V 个词语,也是一个多分类问题,但实际当中,词语的个数非常非常多,直接softmax来计算会给计算造成很大困难,所以需要用技巧来加速训练,下面就介绍word2vec对应的两个加速技巧hierarchical softmax和negative sampling。注意:这两个技巧只是加速训练的技巧Negative Sampling第二种加速策略是Negative Sampling(简写NEG,负采样),这是Noise-Con原创 2021-02-27 03:27:13 · 122 阅读 · 0 评论 -
bi-lstm
bi-lstmattention over attention的问题 ,优化的点首先将文档D和问题Q转化为one-hot向量,然后将one-hot向量输入embedding层,这里的文档嵌入层和问题嵌入层的权值矩阵共享,通过共享词嵌入,文档和问题都可以参与嵌入的学习过程,然后使用双向GRU分别对文档和问题进行编码,文档和问题的编码都拼接正向和反向GRU的隐藏层输出,这时编码得到的文档和问题词向量都包含了上下文信息。计算过程如图所示:文档的Contextual Embedding表示为h_doc,维度为原创 2021-01-04 01:18:52 · 446 阅读 · 0 评论 -
nlp2
nlp2各种词向量预训练比较:word2vecskip gram和cbow的优缺点负例采样和层次化softmax各自的优缺点介绍下Hierarchical Softmax,怎么更新参数Negative Sampling:word2vec的优缺点:FasttextgloveN-Gram主题模型seq2seq&attentiontransformerBERTALBERTELMOGPT-2XLNET短文本分类及情感分类对话和问答NLP其他问题各种词向量预训练比较:https://zhuanlan.zh原创 2021-01-04 01:17:17 · 295 阅读 · 0 评论 -
NLP复习1
正文一. 文本表示方法:基于one-hot、tf-idf、textrank等的bag-of-words;主题模型:LSA(SVD)、pLSA、LDA;基于词向量的固定表征:word2vec、fastText、glove基于词向量的动态表征:elmo、GPT、bert二. 什么是tf-idf?tf(Term Frequency)词频:指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(一般是词频除以文章总词数), 以防止它偏向长的文件。idf(Inverse Document转载 2021-01-04 00:22:13 · 1794 阅读 · 0 评论 -
News Pipeline
News PipelineReal Time News Scraping and Recommendation SystemBuilding RecordPOST DesignReact Frontend UINodeJS Web ServerRestFul API features (By Routing)Frontend and Backend Http Protocol(RESTful API)Backend - SOA (Service Oriented Architrcture) DesignBa原创 2020-12-25 19:42:05 · 835 阅读 · 0 评论 -
20道XGBoost面试题
20道XGBoost面试题20道XGBoost面试题XGBoost的威名想必大家都有所耳闻,它不仅是数据科学竞赛神器,在工业界中也被广泛地使用。本文给大家分享珍藏了多年的XGBoost高频面试题,希望能够加深大家对XGBoost的理解,更重要的是能够在找机会时提供一些帮助。简单介绍一下XGBoost首先需要说一说GBDT,它是一种基于boosting增强策略的加法模型,训练的时候采用前向分布算法进行贪婪的学习,每次迭代都学习一棵CART树来拟合之前 t-1 棵树的预测结果与训练样本真实值的残差。转载 2020-12-25 18:26:57 · 259 阅读 · 0 评论 -
CTR计算广告
计算广告FM 模型的表达式:Embedding+MLPFNNNFMAFMPNNWide and DeepDeep CrossCTR 预估框架: DIN和ESMM.FM 模型的表达式:y = (w x + xT W(2) x)y = (< w; x > + < W x;W x >)FM ⾸先是对离散特征进⾏嵌⼊, 也即做embedding之后通过对嵌⼊后的稠密向量进⾏内积来进⾏⼆阶特征组合最后和线性部分结合Embedding+MLP不同领域的特征分原创 2020-12-20 06:49:48 · 291 阅读 · 1 评论 -
2020-11-28
请详细说说支持向量机(support vector machine,SVM)的原理支持向量机,因其英文名为support vector machine,故一般简称SVM,通俗来讲,它是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,其学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。哪些机器学习算法不需要做归一化处理?在实际应用中,需要归一化的模型:1.基于距离计算的模型:KNN。2.通过梯度下降法求解的模型:线性回归、逻辑回归、支持向量机、神经网络。但树形模型不原创 2020-12-08 09:48:25 · 909 阅读 · 0 评论 -
几道机器学习面试题
Adaboost、GBDT和 Xgboost的区别?传统GBDT以CART作为基分类器,xgboost还支持线性分类器,这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。2传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。顺便提一下,xgboost工具支持自定义代价函数,只要函数可一阶和二阶求导。3. xgboost在代价函数里加入了正则项,用于控制模型的复杂度。正则项里包含了树原创 2020-12-02 12:25:49 · 1554 阅读 · 0 评论