AI.自然语言处理
茅坤宝骏氹
语言:Java、C/C++、C#、Python、Linux Shell。
框架:Spring、Spring MVC、Spring Boot、Spring Cloud、Hibernate、Mybatis、Freemarker、Velocity。
前端:HTML5、CSS3、JavaScript、Bootstrap、JQuery、Vue、React。
数据库:oracle、mysql、MongoDB、HBase。
缓存:Memcache、Redis。
消息队列:kafka。
大数据:Hadoop、Hive、Sqoop、Flume、Spark、Strom、OpenTSDB、Druid。
展开
-
谈谈准确率(P值)、召回率(R值)及F值
转载自 谈谈准确率(P值)、召回率(R值)及F值谈谈准确率(P值)、召回率(R值)及F值一直总是听说过这几个词,但是很容易记混,在这里记录一下。希望对大家理解有帮助。首先来做一个总结:准确率(P值)是针对我们预测结果而言的,它表示的是预测为正的样本中有多少是真正的正样本。召回率(R值)是针对我们原来的样本而言的,它表示的是样本中的正例有多少被预测正确了。用公式表达如下:...转载 2018-10-21 11:52:33 · 2382 阅读 · 0 评论 -
自然语言处理中CNN模型几种常见的Max Pooling操作
转载自 自然语言处理中CNN模型几种常见的Max Pooling操作自然语言处理中CNN模型几种常见的Max Pooling操作CNN是目前自然语言处理中和RNN并驾齐驱的两种最常见的深度学习模型。图1展示了在NLP任务中使用CNN模型的典型网络结构。一般而言,输入的字或者词用Word Embedding的方式表达,这样本来一维的文本信息输入就转换成了二维的输入结构,假设输入X...转载 2018-10-22 19:35:07 · 2056 阅读 · 0 评论 -
seq2seq中的beam search算法过程
转载自 seq2seq中的beam search算法过程首先说明在sequence2sequence模型中,beam search的方法只用在测试的情况,因为在训练过程中,每一个decoder的输出是有正确答案的,也就不需要beam search去加大输出的准确率。假设现在我们用机器翻译作为例子来说明。我们的任务是翻译中文“我是中国人”--->英文“I am Chinese”...转载 2018-10-22 19:35:34 · 1353 阅读 · 0 评论 -
深入浅出讲解语言模型
转载自 深入浅出讲解语言模型深入浅出讲解语言模型1、什么是语言模型呢?简单地说,语言模型就是用来计算一个句子的概率的模型,也就是判断一句话是否是人话的概率?那么如何计算一个句子的概率呢?给定句子(词语序列)它的概率可以表示为:可是这样的方法存在两个致命的缺陷: 參数空间过大:条件概率P(wn|w1,w2,..,wn-1)的可能性太多,无法估算,不可能有用;...转载 2018-10-22 19:36:13 · 719 阅读 · 0 评论 -
NLP Coursera By Michael Collins - Week1
转载自 NLP Coursera By Michael Collins - Week1NLP Coursera By Michael Collins - Week1构建模型框架 - Markov Process毕竟是机器学习嘛,所以第一步,先要把实际问题转化成数学模型。 在NLP中,一般使用的都是概率模型,即把语言模型变成概率论范畴。比如说,现在有一段语音,说的很含糊,...转载 2018-10-22 19:36:41 · 547 阅读 · 0 评论 -
Attentive Sequence to Sequence Networks
转载自 Attentive Sequence to Sequence NetworksAttentive Sequence to Sequence Networks1、Encoder-Decoder 框架首先我们模型的整体框图如下:Encoder-Decoder 框架可以这么直观地去理解:可以把它看作适合处理由一个句子(或篇章)生成另外一个句子(或篇章)的通用处理模型。对...转载 2018-10-22 19:37:18 · 300 阅读 · 0 评论 -
如何轻松愉快的理解条件随机场(CRF)
转载自 如何轻松愉快的理解条件随机场(CRF)如何轻松愉快的理解条件随机场(CRF)?理解条件随机场最好的办法就是用一个现实的例子来说明它。但是目前中文的条件随机场文章鲜有这样干的,可能写文章的人都是大牛,不屑于举例子吧。于是乎,我翻译了这篇文章。希望对其他伙伴有所帮助。原文在这里[http://blog.echen.me/2012/01/03/introduction-to-...转载 2018-10-23 12:52:04 · 293 阅读 · 0 评论 -
训练集样本不平衡问题对CNN的影响
转载自 训练集样本不平衡问题对CNN的影响训练集样本不平衡问题对CNN的影响本文首发于知乎专栏“ai insight”!卷积神经网络(CNN)可以说是目前处理图像最有力的工具了。而在机器学习分类问题中,样本不平衡又是一个经常遇到的问题。最近在使用CNN进行图片分类时,发现CNN对训练集样本不平衡问题很敏感。在网上搜索了一下,发现http://www.diva-portal.o...转载 2018-10-22 19:33:37 · 450 阅读 · 0 评论 -
自然语言处理的十个发展趋势
转载自 哈工大刘挺教授:自然语言处理的十个发展趋势近日,由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办,CSDN、中国科学院自动化研究所承办的第三届中国人工智能大会(CCAI 2017)在杭州国际会议中心盛大开幕。本次大会的第一场分论坛讨论是关于语言智能领域的八大问题。讨论期间,哈尔滨工业大学刘挺教授对自然语言处理的发展趋势做了一次精彩的归纳,他把这里的趋势分成了十个方面。...转载 2018-10-22 19:33:09 · 346 阅读 · 0 评论 -
通俗理解维特比算法
转载自 通俗理解维特比算法本文假定读者有一定的隐马模型基础!或者大家可以参考这两篇文章。隐马尔科夫模型-基本模型与三个基本问题和隐马尔科夫模型-前向算法维特比算法说白了就是动态规划实现最短路径,只要知道“动态规划可以降低复杂度”这一点就能轻松理解维特比算法维特比算法之所以重要,是因为凡是使用隐含马尔可夫模型描述的问题都可以用它来解码,包括今天的数字通信、语音识别、机器翻译、拼音转...转载 2018-10-22 19:32:34 · 960 阅读 · 0 评论 -
自然语言处理中的Attention Model:是什么以及为什么[二]
转载自 自然语言处理中的Attention Model:是什么以及为什么[二]自然语言处理中的Attention Model:是什么以及为什么[二]1、Attention Model图一见下:图1中展示的Encoder-Decoder模型是没有体现出“注意力模型”的,所以可以把它看作是注意力不集中的分心模型。为什么说它注意力不集中呢?请观察下目标句子Y中每个单词的生成过程...转载 2018-10-22 19:34:34 · 360 阅读 · 0 评论 -
自然语言处理中的Attention Model:是什么以及为什么[一]
转载自 自然语言处理中的Attention Model:是什么以及为什么[一]自然语言处理中的Attention Model:是什么以及为什么[一]1、前言要是关注深度学习在自然语言处理方面的研究进展,我相信你一定听说过Attention Model(后文有时会简称AM模型)这个词。AM模型应该说是过去一年来NLP领域中的重要进展之一,在很多场景被证明有效。听起来AM很高大上,其...转载 2018-10-22 19:34:02 · 277 阅读 · 0 评论 -
通俗理解信息熵
转载自 通俗理解信息熵通俗理解信息熵前段时间德川和我讲解了决策树的相关知识,里面德川说了一下熵,今天整理了一下,记录下来希望对大家理解有帮助~1、信息熵的公式先抛出信息熵公式如下:其中代表随机事件X为的概率,下面来逐步介绍信息熵的公式来源! 2、信息量信息量是对信息的度量,就跟时间的度量是秒一样,当我们考虑一个离散的随机变量x的时候,当我们观察到的这个变量的一...转载 2018-10-21 11:52:59 · 274 阅读 · 0 评论 -
通俗理解条件熵
转载自 通俗理解条件熵通俗理解条件熵前面我们总结了信息熵的概念通俗理解信息熵,这次我们来理解一下条件熵。1、信息熵以及引出条件熵我们首先知道信息熵是考虑该随机变量的所有可能取值,即所有可能发生事件所带来的信息量的期望。公式如下:我们的条件熵的定义是:定义为X给定条件下,Y的条件概率分布的熵对X的数学期望这个还是比较抽象,下面我们解释一下:设有随机变量(X,Y),其...转载 2018-10-21 11:53:27 · 589 阅读 · 0 评论 -
通俗理解决策树算法中信息增益的
转载自 通俗理解决策树算法中信息增益的通俗理解决策树算法中的信息增益在决策树算法的学习过程中,信息增益是特征选择的一个重要指标,它定义为一个特征能够为分类系统带来多少信息,带来的信息越多,说明该特征越重要,相应的信息增益也就越大。1、概念我们前面说了,信息熵是代表随机变量的复杂度(不确定度)通俗理解信息熵,条件熵代表在某一个条件下,随机变量的复杂度(不确定度)通俗理解条件熵...转载 2018-10-21 11:53:48 · 276 阅读 · 0 评论 -
句法分析(syntactic parsing)在NLP领域的应用是怎样的
转载自 句法分析(syntactic parsing)在NLP领域的应用是怎样的句法分析(syntactic parsing)在NLP领域的应用是怎样的?文章整理自郭江师兄问题回答(被收录于知乎编辑推荐)!已取得师兄授权!@jiangfeng 原问题如下:opinion extraction system,information retrieval system是如何通...转载 2018-10-21 11:54:16 · 1487 阅读 · 0 评论 -
隐马尔科夫模型-基本模型与三个基本问题
转载自 隐马尔科夫模型-基本模型与三个基本问题隐马尔科夫模型-基本模型与三个基本问题这次学习会讲了隐马尔科夫链,这是一个特别常见的模型,在自然语言处理中的应用也非常多。常见的应用比如分词,词性标注,命名实体识别等问题序列标注问题均可使用隐马尔科夫模型.下面,我根据自己的理解举例进行讲解一下HMM的基本模型以及三个基本问题,希望对大家理解有帮助~ 1、隐马尔科夫模型定义...转载 2018-10-21 11:54:56 · 355 阅读 · 0 评论 -
隐马尔科夫模型-前向算法
转载自 隐马尔科夫模型-前向算法隐马尔科夫模型-前向算法在该篇文章中讲了隐马尔科夫模型(HMM)一基本模型与三个基本问题 隐马尔科夫模型-基本模型与三个基本问题,这篇文章总结一下隐马尔科夫链(HMM)中的前向与后向算法,首先给出这俩个算法是为了解决HMM的第一个基本问题。先回忆一下第一个问题:第一个问题是求,给定模型的情况下,求某种观测序列出现的概率。比如,给定的HMM模型参数已...转载 2018-10-21 11:55:54 · 1019 阅读 · 0 评论 -
机器学习中向量化编程总结记录
转载自 机器学习中向量化编程总结记录向量化编程总结记录很多时候,我们在实现算法的时候,总会碰到累和的伪代码:比如下面这个:为了简单我这里只重复5次,但是原理是一样的。很显然我们要得到这个结果,非常简单,比如下面的这段python代码:那么我们有没有更好的办法呢?有的,看到X,Y都是向量,我们很容易想到向量化编程。比如改成下面这段代码:啊上面这段代码,其...转载 2018-10-21 11:56:49 · 424 阅读 · 0 评论 -
一个非常好的依存句法可视化工具
转载自 一个非常好的依存句法可视化工具一个非常好的依存句法可视化工具在依存句法研究中,常见的CONLL格式的句法树库,一眼看上去就不是太明白整棵树的结构。这里分享推荐一个南京大学nlp实验室制作的一个依存句法可视化工具,效果如图:当我们的CONLL格式数据如下:它对应的树结构如下:这么简单的句子,也许我们在脑海里可以想象出整个树库的样子。但是像下面这个句子树库...转载 2018-10-21 11:57:10 · 2992 阅读 · 1 评论 -
依存句法分析的任务以及形式化定义
转载自依存句法分析的任务以及形式化定义依存句法分析的任务以及形式化定义1、依存句法分析的形式化定义在依存句法中,共同的基本假设是:句法结构本质上包含词和词对之间的关系。这种关系就是依存关系(dependency relations)。其中一个依存关系连接两个词,一个是核心词(head)一个是修饰词(dependant)。依存句法分析结果的一种典型表示形式为依存句法树。下面介绍一...转载 2019-10-20 14:57:16 · 1027 阅读 · 0 评论 -
完全图解RNN、RNN变体、Seq2Seq、Attention机制
转载自 完全图解RNN、RNN变体、Seq2Seq、Attention机制完全图解RNN、RNN变体、Seq2Seq、Attention机制本文首发于知乎专栏“ai insight”!本文主要是利用图片的形式,详细地介绍了经典的RNN、RNN几个重要变体,以及Seq2Seq模型、Attention机制。希望这篇文章能够提供一个全新的视角,帮助初学者更好地入门。 1、从单...转载 2018-10-23 12:51:42 · 1075 阅读 · 0 评论