自然语言处理
文章平均质量分 66
zsffuture
hello world
展开
-
transformer--编码器2(前馈全连接层、规范化层、子层链接结构、编码器层、编码器)
如图所示,输入到每个子层以及规范化层的过程中,还使用了残差链接(跳跃连接),因此我们把这一部分结构整体叫做子层连接(代表子层及其链接结构),在每个编码器层中,都有两个子层,这两个子层加上周围的链接结构就形成了两个子层连接结构.原创 2024-02-29 16:55:28 · 1262 阅读 · 0 评论 -
Word2Vec算法详解(相关背景介绍)
本节开始将介绍几种比较前言的NLP算法,主要是和神经网络进行结合的,和深度学习进行结合的算法原理和思想,前面的NLP算法都是传统的经典NLP算法思想,都没有涉及到实战方面的,实战方面的我计划明年开始进行,所以这个系列的都是理论,本人一直很注重理论方面的学习,因为只有搞懂算法的原理你才有可能去改进去创新,本节开始讲解目前使用比较成熟效果比较好的算法即Word2Vec算法,这个算法,和神经网络很好的结...原创 2019-01-04 13:51:12 · 4520 阅读 · 0 评论 -
NLP --- 条件随机场CRF(预测算法详解)
前几节我们大概的介绍了学习算法,即GIS和IIS的算法,这两个算法在最大熵模型中讲的比较详细,想要深入理解这两个算法,需要你理解动态规划算法。这里的条件随机场实际上是根据最大熵模型的思想过来的,因为通过前面我们可以看出CRF算法的目标公式就是按照最大熵算法构造而来的,不同的是特征函数的选取不同,但是都是大同小异,因此这里大家需要对最大熵模型深入理解,而条件随机场是根据隐马尔可夫过来的,在他的基础上...原创 2018-12-23 13:37:05 · 15468 阅读 · 2 评论 -
NLP ---文本情感分析
前面几节我们详细的研究了文本分析的相关算法,本节将简单介绍一下基于文本的情感分析方面的内容,本节更多是论述方面的内容,这个方向的算法基本都是我们前面学过的,原理就不详细的讲解了,如果有感兴趣的朋友可以自行查阅资料进行研究,这里就不在详细的讲解了,以后如果工作中遇到相关的在详细的研究一下,下面正式开始本节的内容:情感分析简述文本情感分析(Sentiment Analysis)是指利用自然语言...原创 2019-01-03 10:34:46 · 123060 阅读 · 7 评论 -
NLP ---句法分析
句法分析是在计算机系统的基础上进行发展的,常见的句法分析应用有: 计算机的翻译、文字的注释、一对一的问答系统、信息的自然摘录以及自动搜索等。如果对句法分析这一词不了解,那么一定知道文法分析,这是该定义不同的两个说法。句法分析说白了就是在一定规则的语法中,进行句子以及句法单位的自动识别,并按照规定输出识别。常见的汉语理解是分几个步骤的,一般都会包含待翻译文章的输入、文章词句的切分、词语属性分析标注、...原创 2019-01-03 10:33:05 · 6419 阅读 · 1 评论 -
NLP --- 条件随机场CRF详解
上一节我们介绍了CRF的背景,本节开始进入CRF的正式的定义,简单来说条件随机场就是定义在隐马尔科夫过程的无向图模型,外加可观测符号X,这个X是整个可观测向量。而我们前面学习的HMM算法,默认可观测符号是独立的,但是根据我们的实际语言来说,独立性的假设太牵强,不符合我们的语言规则,因此在HMM的基础上,我们把可观测符号的独立性假设去掉。同时我们知道HMM的解法是通过期望最大化进行求解,而CRF是通...原创 2018-12-21 09:19:41 · 21132 阅读 · 5 评论 -
NLP --- 文本分类(向量空间模型(Vector Space Model)VSM)
本节主要介绍文本分类中的一种算法即向量空间模型,这个算法很经典,包含文本预处理、特征选择、特征权值计算、分类算法、这是VSM的几个主要步骤,在宗老师的书里都有详细的讲解,这里也会进行深入的讲解,浅显易懂的是目的,深入理解是目标,下面给出这个VSM模型的方框流程图:其中分词和词袋的建立我们在前两节进行解释了,这一节将主要介绍特征词选择、文本模型表示(VSM),分类算法的建立。下面就系统的进行...原创 2018-12-28 10:33:10 · 41571 阅读 · 3 评论 -
Word2Vec算法详解(CBOW和skip-gram算法详解)
这里发现了一篇很好的教程,因此就不写了,大家直接下载看就可以了,自己也偷偷懒,这篇文章对word2vec算法思想讲解的很透彻,很浅显易懂,这里对此表示感谢,当然你的英文比较好的情况下,可以直接看英文原文,这里大家百度即可,下面我上传这篇很好的中文详解的pdf文件:https://pan.baidu.com/s/1sK55jhd-VWc2vYORcVdbMw...原创 2019-01-04 13:51:41 · 4212 阅读 · 4 评论 -
NLP --- 分词详解(分词的历史)
前面的内容我们以算法为主,主要讲解了HMM和CRF算法,为了解决HMM的问题,使用了EM算法,但是整个HMM算法是产生式模型的,计算量大和复杂,因此为了解决这个问题,我们引入了CRF算法,该算法是借鉴了最大熵模型的算法,然后在HMM的基础上加入了概率图模型和团的概念,使的最后模型称为判别式模型了,因此各方面的问题都得到而来解决,所以CRF得到了大量的应用,前面的就是总结了四个算法,下面我么就开始真...原创 2018-12-24 15:10:36 · 4532 阅读 · 0 评论 -
NLP---将改变您在未来的沟通方式的7种 nlp 技术 (第一部分(附原始论文))
前面的那么多NLP算法大多数都是传统的自然语言处理的算法思想,还没和深度学习神经网络结合起来,本想打算开始更新一些基于深度学习的NLP处理方面的,在浏览国外博客时发现了一篇很好的文章,因此这里翻译一下,发到这里,大家先看看NLP是如何和深度学习结合在一起的,然后针对几个方向继续学习,后面也会简单介绍一下今年的NLP的进展,详细的细节本人打算在实战时在写,因为他的实用性太强了,单纯的讲解理论很乏味,...原创 2019-01-05 13:30:24 · 5113 阅读 · 0 评论 -
NLP--- 将改变你未来沟通方式的7种NLP技术(第二部分)
在第一部分中,我介绍了自然语言处理(NLP)领域以及为其提供支持的深度学习运动。我还向您介绍了NLP中的3个关键概念:文本嵌入(字符串的矢量表示),机器翻译(使用神经网络翻译语言),以及对话和对话(可以实时与人进行对话的技术)。在第2部分中,我将介绍另外4项重要的NLP技术,您应该注意这些技术,以跟上这一研究领域快速增长的步伐。技巧4:情绪分析人际交往不仅仅是文字及其明确的含义。相反,它是...原创 2019-01-05 14:38:41 · 2218 阅读 · 0 评论 -
2018年AI和ML(NLP,计算机视觉,强化学习)技术概述和2019年趋势
前面两篇主要介绍了基于深度学习的自然语言处理,这是去年以前的成果,下面这一篇是总结今年NLP的最新成果,大家可以看看,找到对应论文好好研究,当然这还是外国人写的,没办法,国内很少有人能总结的那么透彻,一是因为大多数都是学习者,而不是应用者,所以能全局把控整个AI界的研究动向并写出来的人很少,因此翻译过来供大家阅读参考:介绍在过去的几年里, 人工智能爱好者和机器学习专业人员都在梦幻般地进行。...原创 2019-01-06 14:04:23 · 3658 阅读 · 0 评论 -
2018年度总结和2019年度计划
回顾20182018这一年基本上按照2017年的预定计划完成了任务,制定的计划基本都完成了,少部分还在继续,期间收获了很多也失去了很多,得失在于自己的权衡,总体来说是收获的较多。2017年7月份开始系统学习AI方面的内容,之前一直在关注这个行业,因为和我的专业很相近,因此开始是从机器学习开始的,刚开始学习确实挺难的,这就需要个人的学习能力和理解能力以及学习安排了,同时也和个人的执行能力,自我管...原创 2019-01-06 15:37:40 · 5901 阅读 · 10 评论 -
深入理解注意力机制(Attention Mechanism)和Seq2Seq
学习本部分默认大家对RNN神经网络已经深入理解了,这是基础,同时理解什么是时间序列,尤其RNN的常用展开形式进行画图,这个必须理解了。这篇文章整理有关注意力机制(Attention Mechanism)的知识,主要涉及以下几点内容:1、注意力机制是为了解决什么问题而提出来的?2、软性注意力机制的数学原理;3、软性注意力机制、Encoder-Decoder框架与Seq2Seq4...原创 2019-06-04 19:05:21 · 48037 阅读 · 10 评论 -
NLP的几种任务
NLP任务根据判断主题的级别, 将所有的NLP任务分为两种类型:token-level task: token级别的任务. 如完形填空(Cloze), 预测句子中某个位置的单词; 或者实体识别; 或是词性标注;SQuAD等. sequence-level task: 序列级别的任务, 也可以理解为句子级别的任务. 如情感分类等各种句子分类问题; 推断两个句子的是否是同义等.token...原创 2019-06-29 13:29:59 · 5931 阅读 · 1 评论 -
NLP --- 条件随机场CRF背景
上一节我们主要讲解了最大熵模型的原理,主要是解释了什么是最大熵,已经最大熵的背景知识,其实还是多建议大家读读论文,如果读英语有点难度,那就看李航的《统计学习方法》的最大熵模型和条件随机场,这本书的质量很高,本节主要讲一些条件随机场的背景知识,解释为什么需要引入条件随机场,废话不多说,下面开始:首先讲条件随机场还需要从隐马尔可夫过来讲,我们都知道,隐马尔可夫过程是生成式模型,体现在哪里呢?这里大...原创 2018-12-20 13:02:38 · 1595 阅读 · 0 评论 -
NLP --- 词性标注
上前几节我们简单介绍了命名体识别的算法,其实主要的方法就是HMM和CRF了,因为可以转换为标注问题,这里都可以使用HMM和CRF,本节我们将介绍另外一个重要的知识点即词性标注,同样的在宗老师的书里都有详细的讲解,这里就简单的讲解一下,那么我们下面就开始:Part-of-speech,是重要的基础性工作,为后续的句法分析等进一步工作提供基础。分词,命名实体识别,词性标注并称汉语词法分析“三姐妹”...原创 2019-01-02 11:07:24 · 22701 阅读 · 0 评论 -
NLP --- 条件随机场CRF(概率计算问题)
上一节详解的阐述了条件随机场的定义和简单的学习算法推倒,这里不懂的前翻看前两节的博客,这里不再赘述,本节将主要求期望的问题,为什么要求解期望?本节主要参考的内容是一篇论文和李航的书,论文是《Conditional Random Fields: An Introduction》 Hanna M. Wallach February 24, 2004,这是一篇综述论文,里面也介绍了求模型期望问题,下面...原创 2018-12-22 15:15:18 · 3329 阅读 · 2 评论 -
NLP --- 写在前面(概率图模型)
本节将正式进入自然语言处理的领域,在自然语言处理的总结中,我不会总结的那么细了,如刚开始的语言模型,自动机及其应用、校准、歧义消除、平滑方法等,这些基础性的知识大家需要找本书看看,例如宗成庆老师的《统计自然语言处理》,前五章的内容大家应该有所了解,我这里就不重复了,一是因为这是很老的内容的了,在现代的自然语言处理中很少使用,但是语言表示规则还在使用,二是宗老师的书前5章写的很详细了,看不懂的找个视...原创 2018-12-11 11:59:44 · 2102 阅读 · 3 评论 -
NLP --- 隐马尔可夫HMM(第一个、第二个问题解决方案)
上一节我们详细的阐述了隐马尔可夫的三个基本问题,结合者背景知识理解这三个问题还是很容易的,因为隐马尔可夫的提出就是建立在语音识别的基础上提出来的,因此根据背景知识学习更容易吸收和深入理解,简单的来说就是物理意义,这里大家理解算法类的都尽量通过物理意义进行理解,这样学习效果会更好,另外就是本节只会解决前两个基本问题,结尾引出第三问题,然后分析问题的难点在哪里,讲明白为什么要引入EM算法,然后下一节将...原创 2018-12-14 10:38:32 · 2049 阅读 · 0 评论 -
NLP --- 最大熵模型的引入
前几节我们详细的阐述了什么是HMM,同时给出了HMM的三个问题,也给出了解决这三个问题的方法最后给出了HMM的简单的应用。其中为了解决第三个问题我们引入了EM算法,这个算法有点麻烦,但是不难理解,而解决第一个和第二个问题时使用的算法基本上都是基于动态规划的,这里需要大家首先对动态规划算法有深入的理解,这样才有可能理解前向、后向和维特比算法,所所以从这里可以看出一些基础性的算法很重要。前面基本就讲了...原创 2018-12-18 11:12:08 · 1842 阅读 · 1 评论 -
NLP --- 隐马尔可夫HMM(极大释似然估计详解)
上一节我们介绍了隐马尔可夫的第三个基本问题的解决方案,但是遇到的问题是在如果语料库没有给出状态转移概率则就不能使用最大释然估计了,因此使用EM算法可以解决,在理解EM算法之前需要理解最大释然估计,本节就详细的探讨一下最大释然估计,下面正式开始:极大似然估计这里先举一个简单的例子: 一对师徒去上山打猎,在山上同时发现了一只兔子,两师徒同时开了枪,结果兔子被打中了,那么问题是兔...原创 2018-12-15 13:49:54 · 4227 阅读 · 0 评论 -
NLP --- 产生式模型VS判别式模型
上一节我们介绍了概率图模型,这将在隐马尔可夫和条件随机场使用到,还会使用到的另外一个概念就是产生式模型和判别式模型,那么什么是产生式模型,什么是判别式模型呢?下面我们详细介绍这两种模型的区别。他们的来源还是机器学习,在机器学习中,我们知道是分类问题,器分类就是等价于输入,求输出的概率即,由此可知分类问题其实就是一个求条件概率的问题,因此这里就牵扯到如何求解条件概率的问题,根据求解这个条件概率的...原创 2018-12-12 10:31:09 · 1610 阅读 · 1 评论 -
NLP --- 文本分类(基于SVD的隐语意分析(LSA))
上一节我们详细的讲解了基于VSM的文本分类,这种分类在很早就出现了,虽然是文本分类中有效的分类手段,但是因为建立的向量是很多维的,因此容造成维度灾难,同时VSM的没有能力处理一词多义和一义多词问题,例如同义词也分别被表示成独立的一维,计算向量的余弦相似度时会低估用户期望的相似度;而某个词项有多个词义时,始终对应同一维度,因此计算的结果会高估用户期望的相似度。汉语用户倾向于频繁使用近义词显示“辞藻丰...原创 2018-12-29 13:06:16 · 5460 阅读 · 2 评论 -
NLP --- 文本分类(基于概率的隐语意分析(PLSA)详解)
上一节我们详细的讲解了SVD的隐语意分析,一旦提到这个,大家脑海里应该立刻有如下的矩阵形式:我们通过矩阵的分解对文本数据进行压缩,压缩量很可观,尤其是原始的矩阵的维度很高时压缩的更可观,因为k通常要远远小于n。如上图等号左边的矩阵其实就是我们的文本的词向量组成的,我们知道一篇文章的词是很多的,而且还是稀疏的,如果一旦文章数也很多,那么整个矩阵的元素会很大很大,但是通过矩阵分解就会减少很多。...原创 2018-12-30 12:48:49 · 1888 阅读 · 2 评论 -
NLP --- 隐马尔可夫HMM(EM算法(期望最大化算法))
期望最大化 (Expectation Maximization) 算法最初是由 Ceppellini[2] 等人 1950 年在讨论基因频率的估计的时候提出的。后来又被 Hartley[3] 和Baum[4] 等人发展的更加广泛。目前引用的较多的是 1977 年 Dempster[5]等人的工作。它主要用于从不完整的数据中计算最大似然估计。后来经过其他学者的发展,这个算法也被用于聚类等应用。因...原创 2018-12-16 13:50:45 · 8240 阅读 · 8 评论 -
NLP --- 隐马尔可夫HMM(第三个问题详解及HMM的应用)
前两节我们详细介绍了什么是极大似然估计和EM算法,简单来说就是数据如果是完整的则可以通过均值来估计参数,因为在数据完整的情况下即有发射符号概率也有状态转移概率,通过估计就可以很容易求出隐马尔可夫模型的参数,但是如果只有发射符号概率而没有状态转移概率(即对于的汉字),这样的语料就不能使用最大释然估计了,因此需要使用EM算法,下面我们再来详细的回顾一下第三个问题:第三个问题: ...原创 2018-12-17 11:39:50 · 4584 阅读 · 0 评论 -
NLP --- 最大熵模型的解法(GIS算法、IIS算法)
上一节中我们详细的介绍了什么是最大熵模型,也推导出了最大熵模型的目标公式,但是没给出如何求解的问题,本节将详细讲解GIS算法求解最大熵模型的过程,这里先把上一节的推导出的公式拿过来:上面第一个式子是说我们要寻找的P要满足k个约束条件,下式说是在满足的约束的情况下,找到是熵值最大的那个P。下面给出的形式:上式是指数族表达式,只有一个未知数即,其中是归一化因子,一旦约束条件确定,那么归...原创 2018-12-19 11:19:04 · 3492 阅读 · 0 评论 -
NLP --- 文本分类(基于LDA的隐语意分析详解)
前几节我们分析了向量空间模型(VSM)、基于奇异值分解(SVD)的潜语意分析(LSA)、基于概率的潜语意分析(PLSA)这些模型都是为了解决文本分类问题,他们各自有自己的优点和缺点,其中VSM模型简单方便但是容易造成维度爆炸和计算量慢的缺点,LSA是基于矩阵分解的原理进行分析的,优点是对VSM有效的降维,但是计算量还是很大,因此引入了PLSA,该优点是完全避开了PSA的矩阵分解的计算问题,把其完全...原创 2018-12-31 14:28:38 · 4918 阅读 · 0 评论 -
NLP --- 条件随机场CRF详解
上一节我们介绍了CRF的背景,本节开始进入CRF的正式的定义,简单来说条件随机场就是定义在隐马尔科夫过程的无向图模型,外加可观测符号X,这个X是整个可观测向量。而我们前面学习的HMM算法,默认可观测符号是独立的,但是根据我们的实际语言来说,独立性的假设太牵强,不符合我们的语言规则,因此在HMM的基础上,我们把可观测符号的独立性假设去掉。同时我们知道HMM的解法是通过期望最大化进行求解,而CRF是通...原创 2018-12-21 09:20:30 · 2184 阅读 · 5 评论 -
NLP --- 文本分类(基于LDA的隐语意分析训练算法详解)
上一节详细介绍了什么是LDA,详细讲解了他的原理,大家应该好好理解,如果不理解,这一节就别看了,你是看不懂的,这里我在简单的叙述LDA的算法思想:首先我们只拥有很多篇文本和一个词典,那么我们就可以在此基础上建立基于基于文本和词向量联合概率(也可以理解为基于文本和词向量的矩阵,大家暂且这样理解),我们只知道这么多了,虽然知道了联合概率密度了,但是还是无法计算,因为我们的隐分类或者主题不知道啊,在...原创 2019-01-01 13:35:31 · 2111 阅读 · 0 评论 -
NLP ---分词详解(常见的五种分词技术二)
上一篇我们讲了N一最短路径方法、基于词的n元文法模型,本节将主要介绍由字构词方法、基于词感知机算法的汉语分词方法、基于字的生成模型和区分式模型相结合的汉语分词方法,下面我们就开始讲解由字构词的方法:由字构词方法由字构词方法的由来其实这个方法我们在前面讲解HMM和CRF时就一直在不停的在使用它,下面我们就详细的讲讲他的实现:第一篇由字构词(Character一basedTagging...原创 2018-12-26 10:24:20 · 23477 阅读 · 0 评论 -
NLP --- 命名体识别(NER)
本节将讲解命名体识别,有些核心的算法如HMM、CRF等我们前面都讲过了,所以本节更像是综述性的文章,大家可以看看宗老师的书,那里说的比较详细,这里只是简单的介绍一下命名实体识别(named entity recognition,NER)的发展历史,和当前的研究程度,大家如果对其有兴趣,请查阅相关资料,当然最新的算法我会在后面的博客中再来详细讲解,例如基于深度学习的即CNN,LSTM等,后面再说,这...原创 2018-12-27 12:25:18 · 11228 阅读 · 1 评论 -
NLP --- 隐马尔可夫HMM(概念详解、三个基本问题详解)
本节将进入隐马尔可夫环节,再次提醒不懂马尔科夫过程的同学建议先搞懂什么是马尔科夫过程,什么是马尔科夫链,同时需要懂一点语言模型的知识,下面会用到一点点,本人打算详细总结隐马尔可夫算法思想,因此讲解的会很详细,就意味着我会分几部分来讲,大概思路是先通过浅显易懂的示例引入隐马尔可夫概念,然后给出语音识别的例子引出隐马尔可夫的相关概念和性质,在此基础上深入挖掘HMMs的算法原理和使用过程,以及学习算法思...原创 2018-12-13 10:35:47 · 6154 阅读 · 8 评论