综合-自然语言处理
文章平均质量分 51
Sarah ฅʕ•̫͡•ʔฅ
勿忘初心
展开
-
自然语言处理 知识点积累
积累原创 2022-07-13 17:25:31 · 245 阅读 · 0 评论 -
自然语言处理 知识点积累
积累原创 2022-07-09 21:32:08 · 173 阅读 · 0 评论 -
Chapter 1 语言处理与Python
1、搜索文本>>>import nltk>>>nltk.download() #下载资源>>>from nltk.book import * #可以导入book中的所有数据条text2: Sense and Sensibility by Jen Austen 1811>>>text2Text:Sense and...原创 2019-03-31 07:53:36 · 72 阅读 · 0 评论 -
***CNN在自然语言处理上的详细解析与应用
参考博文:CNN在自然语言处理上的详细解析与应用转载 2019-06-30 20:16:46 · 258 阅读 · 0 评论 -
***谈 Bot Framework(以Facebook的wit.ai为例)
参考博文:谈 Bot Framework(以Facebook的wit.ai为例)转载 2019-06-30 20:11:25 · 146 阅读 · 0 评论 -
***bpe subword(机器翻译)
个人理解:bpe subword可以用来解决 “机器翻译” 中,“未登录词”的问题。所谓“未登录词”,是指“测试集/验证集”中出现 但是 在“训练集”中没有出现的 单词。原始的“机器翻译”是在word-level下进行训练的。先用语料库构建dictionary,给出dictionary中每个word的编码。然后,把sentence投入模型进行训练。有一个疑问:比如:在“英 ->...转载 2019-06-30 19:35:46 · 1305 阅读 · 0 评论 -
BERT 理论与实战
一、语言模型历史线1、n-gram语言模型sentence = <x1,x2,x3,x4>利用n-gram语言模型预测sentence出现的可能性:P(x1,x2,x3,x4) = P(x4|x1,x2,x3) * P(x3|x1,x2) * P(x2|x1) * P(x1) ;上式右边的P值均需要通过train data来获得,这就存在几个问题:1)当sentence过长...原创 2019-05-17 21:58:02 · 485 阅读 · 0 评论 -
GloVe详解
参考博文:GloVe详解转载 2019-05-24 13:24:36 · 1864 阅读 · 0 评论 -
句法依存分析 中 关系类型 总结
参考博文:ZH奶酪:中文依存句法分析概述及应用转载 2019-07-18 15:30:03 · 1747 阅读 · 0 评论 -
NNLM / word2vec / transformer / ElMo / OpenAI GPT / BERT 的前因后果
看了这些模型原理已经好一阵子了,今天针对这些模型的异同点 进行一下梳理,帮助大家理解 word embedding的前世今生,由于涉猎 广度 和 深度 都还有所欠缺,所以难免有错,大家选择性学习,欢迎查漏补缺。1、NNLM -> word2vecNNLM 和 word2vec 都属于 无监督学习;NNLM 和 word2vec 的核心思想比较像,都是 通过周边词 来 预测 目标词,...原创 2019-07-18 23:41:15 · 408 阅读 · 0 评论 -
ACE事件类型及模板
参考博文:ACE事件类型及模板转载 2019-07-19 14:40:08 · 1024 阅读 · 0 评论 -
事件抽取综述
参考博文:事件抽取综述转载 2019-07-17 14:48:13 · 791 阅读 · 0 评论 -
spacy自然语言处理工具包
NLTP工具包 学术性较强,Spacy具有工业价值, 对很多模块性能进行了优化(使用Cython)。参考博文:自然语言处理工具包spaCy介绍目前为止知道的:NLTK,gensim,Spacy,jieba...转载 2019-07-18 23:44:02 · 566 阅读 · 0 评论 -
wordnet python处理中文与英文
参考博文:wordnet python处理中文与英文转载 2019-07-30 14:29:44 · 734 阅读 · 0 评论 -
python中用gensim做wiki的中文数据word2vector处理
参考博文:python中用gensim做wiki的中文数据word2vector处理转载 2019-07-25 13:06:09 · 261 阅读 · 0 评论 -
langconv 安装 | python繁体 简体转换
参考博文:langconv 安装 | python繁体 简体转换转载 2019-07-25 13:31:12 · 3292 阅读 · 0 评论 -
***深度学习在搜索的应用:学术前沿与工业方案解析
参考博文:深度学习在搜索的应用:学术前沿与工业方案解析转载 2019-04-13 18:30:32 · 276 阅读 · 0 评论 -
***BPTT算法
参考:BPTT算法推导转载 2019-03-21 21:42:51 · 401 阅读 · 0 评论 -
Word2vec()函数详解
参考博文:word2vec参数理解转载 2019-03-20 15:48:26 · 2939 阅读 · 0 评论 -
语言模型的评估-困惑度
语言模型的评估-困惑度转载 2019-02-11 18:15:18 · 688 阅读 · 0 评论 -
中文分词原理和实现
中文分词原理和实现转载 2019-02-10 19:50:07 · 2748 阅读 · 0 评论 -
TF-IDF原理及使用
TF-IDF原理及使用转载 2018-10-14 10:24:06 · 115 阅读 · 0 评论 -
潜在语义分析Latent Semantic Analysis (LSA) *
潜在语义分析Latent Semantic Analysis (LSA)转载 2018-10-14 14:21:00 · 441 阅读 · 0 评论 -
文本主题模型之LDA
文本主题模型之LDA转载 2018-11-21 13:33:10 · 200 阅读 · 0 评论 -
***NLP开源框架PyText简介
参考博文:Facebook AI的工业级NLP开源框架—— Pytext简介转载 2019-03-21 21:44:13 · 350 阅读 · 0 评论 -
***Transformer(self-attention),ELMO,OpenAIGPT,BERT
参考博文:2. Attention Is All You Need(Transformer)算法原理解析刁宇峰 AAAI2018中的自注意力机制(Self-attention Mechanism)self-attention----Attention is all you need论文解读...转载 2019-03-21 21:47:19 · 198 阅读 · 0 评论 -
***PageRank
参考博文:简述PageRank转载 2019-04-13 17:58:22 · 119 阅读 · 0 评论 -
***NLP案例——命名实体识别(Named Entity Recongition)
参考博文:NLP案例——命名实体识别(Named Entity Recongition)转载 2019-04-08 11:51:37 · 417 阅读 · 0 评论 -
文本处理工具:TextBlob
参考博文:文本处理工具 - TextBlob转载 2019-04-02 16:08:09 · 683 阅读 · 0 评论 -
自然语言处理学习1:nltk英文分句WordPunctTokenizer、分词word_tokenize和词频统计FreqDist
参考博文:自然语言处理学习1:nltk英文分句WordPunctTokenizer、分词word_tokenize和词频统计FreqDist转载 2019-03-28 13:05:57 · 1248 阅读 · 0 评论 -
FastText原理总结
参考博文:FastText原理总结转载 2019-04-01 16:21:02 · 158 阅读 · 0 评论 -
对于ConvLSTM的理解
参考博文:对于ConvLSTM的理解转载 2019-03-31 22:40:54 · 1862 阅读 · 0 评论 -
使用不同的方法计算TF-IDF值
参考博文:使用不同的方法计算TF-IDF值转载 2019-03-31 15:42:21 · 175 阅读 · 0 评论 -
NLP中词的表示方法总结
参考博文:DeepNLP的核心关键/NLP词的表示方法类型/NLP语言模型 /词的分布式表示/word embedding/word2vec转载 2019-03-30 22:20:32 · 693 阅读 · 0 评论 -
word2vec
word2vec原理转载 2018-11-21 13:35:43 · 178 阅读 · 0 评论