NLP
文章平均质量分 89
半九拾
凡你能说的,你说清楚。凡你说不清楚的,留给沉默。
展开
-
[NLP] Elasticsearch 全流程配置
OS: linux jdk 若机器已配置java环境,则可以跳过此部分。$ echo $JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java否则:先看是否有java(可能仅仅是没有配置环境变量)若有,则按如下步骤找到jdk的位置(如下所示,本机中,该位置为:/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java):$ java -versi...原创 2022-05-08 13:16:11 · 788 阅读 · 0 评论 -
【NLP】LSTM总结记录
前言如果有一天,你发现有大佬会看你写的东西,你感觉一切的一切都变得有意义了。好比一个资质极差的凡人,终于发现自己可以凭借后天的极限奋斗,能有希望入道成仙,因而欢喜无尽。希望未来的那么一天,也有人会跟我说一句:吾道不孤也!----感谢boss上跟我聊过的这位大佬!这篇文章写一些关于LSTM的总结。RNN为了更加好的建模一些序列化信息,比如文本,语音,我们有了RNN(Recurre...原创 2020-05-08 09:16:37 · 2089 阅读 · 0 评论 -
【NLP】bilstmCRF模型进行中文命名实体识别的实战
写在前面纵观接触到的NLP任务,我们发现了,绝大部分任务或多或少地依赖NER的能力。之前仓促地总结归纳了一篇关于命名实体识别的介绍性博客,但这只能非常有限的从前辈大神成熟的理论和我不成熟的思考中,得到如萤火之光般,稍纵即逝的短暂性感悟。而这之后,面对同样的问题和任务,依旧一头雾水,没有任何获得感让人内心焦躁,各位大兄弟,不知道你们是否也有同感呢?不管怎样,实践出真知,决定还是自...原创 2019-11-08 15:51:58 · 3368 阅读 · 3 评论 -
【NLP】如何评价一个摘要是合适的
根据论文A Simple Theoretical Model of Importance for Summarization总结判断一个摘要的好坏,主要从一下四个维度考虑:冗余度(redundancy),相关性(relevance),informativeness,重要性(importance)设定符号和其表示的意义::表示一个语义单元: 表示从语...原创 2019-10-10 13:50:12 · 3275 阅读 · 0 评论 -
【NLP】TextRank&NMF文本摘要总结
TextRank&NMF文本摘要总结我们在用TextRank作文本摘要时,提出一种新颖的方法来解决长文本的摘要提取问题。TextRank的思想很简单,其基本思想来源于谷歌的PageRank算法, 通过把文本分割成若干组成单元(单词、句子)并建立图模型, 利用投票机制对文本中的重要成分进行排序, 仅利用单篇文档本身的信息即可实现关键词提取、文摘。和 LDA、HMM 等模型不同...原创 2019-09-26 13:58:15 · 933 阅读 · 0 评论 -
【NLP】seq2seq&attention文本摘要实现
Seq2seq文本摘要总结目录前言结构EncoderATTENTIONDecoderTrainingevaluate前言之前尝试用textRank+NMF做长文本摘要,但textRank是基于句子间距离的,其结果是文本中句子的重要性排序,输出的是文本中现成的句子。这对于文章内容的理解是不够的。当某个思想需要用多个句子表达,或者长文本中包含过于复杂...原创 2019-09-26 13:19:34 · 5557 阅读 · 12 评论 -
【NLP】命名实体识别(NER)的BiLSTM-CRF模型
目录NER 的各种方法基于字的BiLSTM-CRF模型CRF层详解Emission scoreTransition scoreCRF loss function代码模型效果骚年,来一份“人民日报”吗?骚年,你搞懂了LSTM了没?有“人民日报”懂LSTM,我们就开车出发啦!NER 的各种方法对于NER 的各种方法基本上归于三类方法:...原创 2019-09-12 16:26:34 · 5935 阅读 · 0 评论 -
-i https://pypi.tuna.tsinghua.edu.cn/simple
EMNLP 2018 | 从对话生成和文本风格转化看文本生成技术NLP四大任务类型:分类、序列标注、文本匹配、文本生成练习地址:https://github.com/FudanNLP/nlp-beginnerhttps://www.zhihu.com/question/324189960总结了NLP里的小方向并给出了任务语料以及最近的成果论文:https://papersw...转载 2019-08-14 14:32:18 · 3394 阅读 · 0 评论