NLP
文章平均质量分 74
静待花开s0
If you find a path with no obstacles, it probably doesn't lead anywhere.
展开
-
社区问答系统(CQA)简单概述
社区问答系统,是一种基于web的应用,主要帮助用户从社区中寻找复杂的,与上下文相关的问题答案。社区问答系统主要目标是在尽可能短的时间内我最近发布的问题提供最合适的答案。相比于传统的检索系统,CQA系统能够利用隐性知识(各种不同社区中)和显性知识(已解决的问题)来回答新问题,可以从知识共享和协作学习两个角度理解。基于以上假设,早期的CQA系统提出了知识管理[13]等理论方法。社区问答系统的两种主要方法是是内容/用户建模方法和自适应支持方法。其中,内容/用户建模方法主要对各种用户特性,问题及对应原创 2021-01-04 20:47:30 · 2903 阅读 · 0 评论 -
序列标注两种模式BIO和BIOES
序列标注两种模式BIO和BIOESBIO标注模式(B-begin,I-inside,O-outside)BIOES标注模式(B-begin,I-inside,O-outside,E-end,S-single)在自然语言处理的序列标注问题中,标签方案的使用可能因人而异。标签说明标签方案中通常都使用一些简短的英文字符[串]来编码。标签是打在token上的。对于英文,token可以是一个单词(e.g. awesome),也可以是一个字符(e.g. a)。对于中文,t转载 2020-11-07 18:36:42 · 4037 阅读 · 0 评论 -
Greedy Search VS Beam Search 贪心搜索 vs 集束搜索
在做NLP领域的NMT或者chatbot等方面的工作时,在进行inference(推理)的时候,经常会用到两种搜索方式,即Greedy Search和Beam Search。1. Greedy Search贪心搜索最为简单,直接选择每个输出的最大概率,直到出现终结符或最大句子长度。2.Beam Search。Beam Search可以认为是维特比算法的贪心形式,在维特比所有中...原创 2019-12-12 18:36:36 · 1233 阅读 · 0 评论 -
Attention Mechanism Bahdanau attention vs Luong attention
Attention MechanismCan I have your Attention please! The introduction of the Attention Mechanism in deep learning has improved the success of various models in recent years, and continues to be an...转载 2019-12-11 19:53:45 · 1502 阅读 · 0 评论 -
浅谈NLP中Attention机制的理解
1.什么是注意力机制?注意力机制模仿了生物观察行为的内部过程,即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。例如人的视觉在处理一张图片时,会通过快速扫描全局图像,获得需要重点关注的目标区域,也就是注意力焦点。然后对这一区域投入更多的注意力资源,以获得更多所需要关注的目标的细节信息,并抑制其它无用信息。图片来源:深度学习中的注意力机制,其中红色区域表示更关注的区域。...转载 2019-12-11 15:04:59 · 594 阅读 · 0 评论 -
NLP领域数据集集锦——100+个数据集!!!dialog,chatbot,nmt……均可使用
奉上100多个按字母顺序排列的开源自然语言处理文本数据集列表(原始未结构化的文本数据),快去按图索骥下载数据自己研究吧!数据集Apache软件基金会公开邮件档案:截止到2011年7月11日全部公开可用的Apache软件基金会邮件档案。(200 GB)http://aws.amazon.com/de/datasets/apache-software-foundation-public-ma...转载 2019-12-10 19:59:38 · 1651 阅读 · 0 评论 -
python 文本词汇,句子校正 autocorrect库的使用
python 文本词汇,句子校正但是,事实上,spell已经过时了,现在一般使用from autocorrect import Speller查看源代码class Speller: def __init__(self, threshold=0, lang='en'): self.threshold = threshold tarfi...原创 2019-10-22 23:33:34 · 1777 阅读 · 0 评论 -
bleu评测集锦
https://blog.csdn.net/qq_36652619/article/details/87544918https://www.cnblogs.com/by-dream/archive/2017/10/19/7683126.htmlhttps://blog.csdn.net/allocator/article/details/79657792原创 2019-09-22 18:25:48 · 544 阅读 · 0 评论 -
常见文本处理工具之TextBlob
常见文本处理工具之TextBlobhttps://blog.csdn.net/qq_22930277/article/details/79260770转自qq_22930277转载 2019-09-20 09:20:15 · 815 阅读 · 0 评论 -
自然语言处理中常用的评测方法BLEU,ROUGE,METEOR
转:BLEU,ROUGE,METEOR,ROUGE-浅述自然语言处理机器翻译常用评价度量转载 2019-05-15 21:44:00 · 2431 阅读 · 0 评论 -
机器翻译评测方法——BLEU
机器翻译评测方法——BLEUBLEU(BilingualEvaluationunderstudy)方法由IBM提出,这种方法认为如果熟译系统魏译文越接近人工翻翻译结果,那么它的翻译质量越高。所以,评测关键就在于如何定义系统译文与参考译文之间的相似度。BLEU 采用的方式是比较并统计共同出现的n元词的个数,即统计同时出现在系统译文和参考译文中的n元词的个数,最后把匹配到的n元词的数目除...转载 2019-04-23 15:39:01 · 1164 阅读 · 0 评论 -
机器学习和深度学习中的一些名词
机器学习和深度学习中的一些名词1.训练集,测试集和验证集比较训练集作用:估计模型学习样本数据集,通过匹配一些参数来建立一个分类器。建立一种分类的方式,主要是用来训练模型的。验证集作用:确定网络结构或者控制模型复杂程度的参数对学习出来的模型,调整分类器的参数,如在神经网络中选择隐藏单元数。验证集还用来确定网络结构或者控制模型复杂程度的参数。测试集作用:检验最终选择...原创 2019-04-15 10:08:46 · 508 阅读 · 0 评论 -
NLP自然语言处理中英文分词工具集锦与基本使用 jieba,snowNLP ,StanfordCoreNLP,thulac等
目录NLP分词工具集锦分词实例用文件一、中文分词工具(1)Jieba(2)snowNLP分词工具(3)thulac分词工具(4)pynlpir 分词工具(5)StanfordCoreNLP分词工具(6)Hanlp分词工具二、英文分词工具1. NLTK:2. SpaCy:3. StanfordCoreNLP:NLP分词工具集锦分词实例用文件...原创 2019-03-20 14:01:31 · 6151 阅读 · 0 评论 -
NLP02(自然语言处理)第二章 预备知识——数学基础
第二章 数学基础2.1 概率论基础基本概念概率(probability)最大似然估计(maximum likelihood estimation)条件概率(conditional probability)全概率公式(full probability)贝叶斯决策理论(Bayesian decision theory)贝叶斯法则(Bayes’theorem)二项式分...原创 2019-03-18 20:49:40 · 840 阅读 · 0 评论 -
NLP01(自然语言处理)第一章 绪论
第一章 绪论目录第一章 绪论1.1问题的提出1.2基本概念1.3 HLT的产生和发展1.4 研究内容按照应用目标划分,广义上包括:1.5 基本问题和主要困难1.6 基本研究方法1.7 研究现状绝大多数问题都没有得到彻底解决!1.8 课程内容1.1问题的提出任意时间、任意地点、任意语言的自由通讯无时无刻不在改变着人们的思维方式和生活方式1.语...原创 2019-03-18 20:49:09 · 1139 阅读 · 0 评论