NLP自然语言处理
文章平均质量分 66
自然语言处理相关知识或技术
胤风
搞NLP的文青
展开
-
通俗易懂的语言模型
自然语言处理,通俗的说就是利用计算机来处理和分析人类的语言,最终期望计算机在理解语言上像人类一样智能。众所周知,自然语言天然就是序列形式的,因此NLP所面临的一个最基本的问题就是分析这些文字序列的基本规律。那么如何去描述文字序列的规律?这就产生了理性主义和经验主义两大阵营。理性主义认为人类的智能行为可以使用符号系统来模拟,智能的基本单位是符号,认知过程就是在符号的表征下进行符号运算,因此思维就是符号运算(有图灵机那味了)。他们主张采用公理化、形式化的方法,严格按照一定的规则来描述自然语言的特征,通常是用一原创 2021-03-24 22:30:50 · 741 阅读 · 0 评论 -
RNN LSTM GRU Attention transformer公式整理总结(超详细图文公式)
整理各种模型的公式,以后面试复习用RNN公式:ht=f(W⋅[ht−1,xt]+b)h_{t}=f\left(W \cdot\left[h_{t-1}, x_{t}\right]+b\right)ht=f(W⋅[ht−1,xt]+b)LSTM公式:遗忘门:ft=σ(Wf⋅[ht−1,xt]+bf)f_{t}=\sigma\left(W_{f} \cdot\left[h_{t-1}, x_{t}\right]+b_{f}\right)ft=σ(Wf⋅[ht−1,xt]+bf)原创 2020-08-11 23:58:24 · 5118 阅读 · 1 评论 -
一文详解Attention机制
Attention机制我们知道Seq2Seq模型有一个缺点就是句子太长的话encoder会遗忘,那么decoder接受到的句子特征也就不完全,我们看一下下面这个图,纵轴BLUE是机器翻译的指标,横轴是句子的单词量,我们可以看出用了attention之后模型的性能大大提升。用了注意力机制,Decoder每次更新状态的时候都会再看一遍encoder所有状态,还会告诉decoder要更关注哪部分,这也是attention名字的由来。但是缺点就是计算量很大。Attention原理在encoder结束之后转载 2020-07-27 21:13:27 · 4944 阅读 · 0 评论 -
深入理解机器学习中的信息熵、KL散度、交叉熵
通用的说,熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。在不同领域熵有不同的解释,比如热力学的定义和信息论也不大相同。要想明白交叉熵(Cross Entropy)的意义,可以从熵(Entropy) -> KL散度(Kullback-Leibler Divergence) -> 交叉熵这个顺序入手。先给出一个“接地气但不严谨”的概念表述:熵:可以表示一个事件A的自信息量,也就是A包含多少信息。KL散度:可以用来表示从事件A的角转载 2020-07-20 23:18:09 · 766 阅读 · 0 评论 -
一文让你彻底搞懂主成成分分析PCA的原理及代码实现(超详细推导)
主成分分析(Principal components analysis)PCA是一个很重要的降维算法,可以用来降噪、消除冗余信息等,只要和数据打交道几乎是必学的。它需要一些前置知识,我自己学的时候总是一知半解,后来才知道是这些前置知识基础没打牢固,为了彻底搞明白,我另外写了几篇文章,理清了其中用到的一些知识,基础不好的同学可以先过一下:带你深入理解期望、方差、协方差的含义一文读懂特征值分解EVD与奇异值分解SVD引言首先先举个例子来认识一下数据。假设我们有一组二维数据(x,y),它的分布如下:原创 2020-07-20 14:46:47 · 6729 阅读 · 7 评论 -
手把手教你用fairseq训练一个NMT机器翻译系统
好的原创 2020-07-11 15:26:28 · 10254 阅读 · 32 评论 -
机器学习中的混淆矩阵,准确率,精确率,召回率,F1,ROC/AUC,AP/MAP
评价指标的引出为什么要引出这么多评价指标,它是基于什么样的需求?在生活中,最常用的就是准确率,因为它定义简单而且比较通用,但在机器学习中,它往往不是评估模型的最佳工具, 特别是在数据分布不平衡的时候,请看一个例子:比如我们训练了一个预测地震的模型,预测类别只有两个:0:不发生地震、1:发生地震,当前有100个测试集,如果模型地无脑把每一个测试用例都预测为0,那么它就达到99%的准确率,但实际上它并不具有预测的能力,为什么会出现这种情况?因为这里数据分布不平衡,类别为1的数据太少,完全分错类别1依然可以原创 2020-06-20 19:13:17 · 5802 阅读 · 6 评论 -
机器翻译书籍、教材推荐 ——《机器翻译:基础与模型》肖桐 朱靖波 著
推荐一本来自东北大学自然语言处理实验室 · 小牛翻译的肖桐 (Tong Xiao) 朱靖波 (Jingbo Zhu)撰写的《机器翻译:统计建模与深度学习方法》,这是一个教程,目的是对机器翻译的统计建模和深度学习方法进行较为系统的介绍,对NLP感兴趣的墙裂推荐阅读。书共分为七个章节,章节的顺序参考了机器翻译技术发展的时间脉络,同时兼顾了机器翻译知识体系的内在逻辑。各章节的主要内容包括:第一章:机器翻译简介第二章:词法、语法及统计建模基础第三章:基于词的机器翻译模型第四章:基于短语和句法的机器翻译模原创 2020-05-24 15:02:38 · 1373 阅读 · 0 评论 -
跨语言词嵌入无监督词典推断论文笔记Bilingual Lexicon Induction with Semi-supervision in Non-Isometric Embedding Spaces
论文地址代码背景目前的双语词典推断任务(bilingual lexicon induction BLI)主要分为弱监督方法和无监督方法两类,这两类方法都是基于这样一个假设:embedding空间具有相似性(isometry),因此他们的目标就是将预先训练的不同语言的embedding映射到共同的语义空间中(大多是线性转移矩阵),然后通过K-NN算法来进行词典推断,也就是找到互译对。目前的弱...原创 2020-04-06 00:05:12 · 1042 阅读 · 1 评论