leboop-L
学习 分享
展开
-
长短期记忆模型(LSTM)理解
长短记忆模型是建立在RNN基础之上的,理解RNN有助于理解LSTM模型,建议读者阅读《循环神经网络(RNN)原理及BPTT算法》。LSTM模型 在介绍LSTM模型之前,我们先回顾一下RNN,网络结构如图:将网络结构中每一层都缩成一个圆来表示,就是如下这样的网络结构缩图:在t时刻,我们向网络中输入数据,将作为RNN循环层的部分输入,另外一部分输入...原创 2020-03-31 15:20:22 · 5563 阅读 · 0 评论 -
集成学习Boosting算法之AdaBoost
Boosting算法AdaBoost与Bagging算法比较原创 2020-05-11 21:27:27 · 565 阅读 · 0 评论 -
智能聊天系统——Attention Mechanism(注意力机制)
目录什么是AttentionEncoder-DecoderLuongAttentionGlobal AttentionLocal AttentionBahdanau Attention什么是Attention selectively focusing on parts of the source sentence。Encoder-Decod...原创 2020-04-21 16:02:40 · 601 阅读 · 0 评论 -
Transformer背后的数学
Encoder 以机器翻译举例说明。假设输入序列,输出序列为,假设t时刻,Inputs为,的one-hot编码如下:,维度为n。Input Embedding 向量将作为Input Embedding输入,Input Embedding处理如下: (1)其中是权重矩阵(模型学习参数之一)。式子的维度关系如下:...原创 2020-04-19 21:51:18 · 646 阅读 · 0 评论 -
机器翻译——从RNN Encoder–Decoder到LSTM Seq2Seq(经典论文解读)
RNN Encoder–Decoder论文《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》简介 RNN Encoder–Decoder由两个循环神经网络(recurrent neural networks,RNN)构成,...原创 2020-04-19 12:18:57 · 898 阅读 · 0 评论 -
TF-IDF、PageRank、TextRank、LSA、LSI和LDA等文本提取算法
目录TF-IDF(Term Frequency-Inverse Document Frequency)PageRankTextRankLSA(Latent Semantic Analysis,潜在语义分析)LSI(Latent Semantic Index,潜在语义索引)LDA(Latent Dirichlet Allocation,隐含狄利克雷分布)基本应用 ...原创 2020-04-14 21:17:24 · 1047 阅读 · 0 评论 -
Windows安装word2vec的那些坑
打开命令窗口,执行pip install word2vec,如图:ERROR: Command errored out with exit status 1: command: 'e:\python\python.exe' -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\TEMP\\pip-install-x...原创 2020-04-10 00:00:13 · 2596 阅读 · 3 评论 -
概率图模型家族(HMM、MaxEnt、MEMM和CRF)
阅读本文时,建议阅读《隐马尔可夫链真相——从理论证明、算法实现到实际应用》一文,了解一些相关模型。要介绍条件随机场,不得不从概率图模型说起。概率图模型 什么是图呢?简单来说图是由一些顶点(Vertex)和连接顶点的边(edge)构成。所有顶点的集合记为V,边的集合记为E,那么图就可以表示为G=<V,E>,图按照是否有方向,分为有向图和无向图,...原创 2020-04-13 17:14:35 · 1056 阅读 · 1 评论 -
word2vec和doc2vec模型详解及应用
词袋模型(Bag of Word Model) 将所有词语装进一个袋子里,不考虑其词法和语序的问题,即每个词语都是独立的。例如如下2个例句:Jane wants to go to Shenzhen.Bob wants to go to Shanghai.就可以构成一个词袋,袋子里包括{ Jane,wants,to,go,Shenzhen,Bob,Shangh...原创 2020-04-11 19:13:03 · 1193 阅读 · 0 评论