自然语言处理nlp
文章平均质量分 79
huangrs098
这个作者很懒,什么都没留下…
展开
-
Huggingface Transformers的使用记录
huggingface的使用记录:1 具体使用教程参考文章:https://zhuanlan.zhihu.com/p/143161582模型,字典等默认下载到本机(linux)的路径获取路径的代码hf_cache_home = os.path.expanduser( os.getenv("HF_HOME", os.path.join(os.getenv("XDG_CACHE_HOME", "~/.cache"), "huggingface")))实际下载地址示例:/home/you原创 2020-12-14 17:47:53 · 471 阅读 · 0 评论 -
Keras实现BiLSTM+CRF中文命名实体识别--实战篇(序列标注)
本文主要是利用Keras框架搭建BiLSTM+CRF的序列标注模型,完成中文的命名实体识别任务。这里使用的数据集是提前处理过的,已经转成命名实体识别需要的“BIO”标注格式。详细代码和数据:https://github.com/huanghao128/zh-nlp-demo输入的训练阿虎局格式如下:...转载 2020-06-24 10:17:00 · 3951 阅读 · 7 评论 -
tensorflow2.0(Keras)实现seq2seq+Attention模型的对话系统--实战篇(序列生成)
本文目录结构序列生成的两种方法比较seq2seq模型介绍Keras实现seq2seq+Atttention模型序列生成的两种方法比较:序列生成任务主要有两种方案实现,一种是传统的seq2seq(lstm+attention),一种是基于self-attention的transformer模型实现。(具体实现方法参考另一篇博客https://blog.csdn.net/qq_35549634/article/details/106549346),本文将介绍第一种方法。问:attention与sel转载 2020-06-07 17:29:42 · 10299 阅读 · 4 评论 -
项目总结之机器翻译(使用tensor2tensor框架,transformer算法实现)--实战篇(机器翻译,序列生成)
先留坑,以后再填原创 2020-06-04 16:08:25 · 2277 阅读 · 1 评论 -
NLP相关经典书籍和论文
经典书籍:1 Speech and Language Processing这个是NLP大牛Daniel Jurafsky的关于语音和语言处理的一本书,NLP领域非常经典的入门教程,语言通俗易通,实例简单形象。最近作者在写最新的第三版,要知道第二版是2008年完成的,最新版除了介绍传统的自然语言处理方法外,如贝叶斯分类、逻辑回归、TF-IDF等,也加入了最新的神经网络和深度学习一类方法,有介绍神经网络语言模型、问答系统、对话系统、机器翻译等。还有信息检索、实体链接分析等。现在第三版还没有完全写完,作者把已转载 2020-06-04 15:02:46 · 1070 阅读 · 0 评论 -
word2vec词向量的训练--实战篇(语言模型词向量的生成)
新闻语料预处理本文使用的是搜狗新闻语料库,原始语料是类似下图中xml格式,首先需要提取中语料中正真的新闻内容,就是中对应的文本。还需要过滤一些特殊字符,以及半角和全角的转换问题。...转载 2020-06-03 17:53:34 · 1721 阅读 · 0 评论 -
传统神经网络语言模型与word2vec 篇(二)
本篇介绍语言模型word2vec,大部分摘抄自博客:https://blog.csdn.net/huanghaocs/article/details/77935556与https://www.cnblogs.com/ooon/p/5558119.htmlword2vec的网络结构其实和神经概率语言模型(NPLM)是基本类似的,word2vec的训练方法有两种,一种是CBOW根据上下文,预测中间的词。另一种是Skip-gram,输入某个词,预测这个词的上下文。其实都是在发现语料中局部词汇之间的共现关系。原创 2020-06-03 14:49:04 · 537 阅读 · 0 评论 -
传统神经网络语言模型与word2vec 篇(一)
神经网络语言模型NNLM(Neural Network Language Model)用神经网络来训练语言模型的思想来源于2003年Bengjo发表的《A Neural Probabilistic Language Model》,下面我们来详细分析一下该模型结构。在训练过程中,输入是一串词序列,输出是该序列下一个词的概率值。假设有一组序列:w1,w2,⋅⋅⋅,wtw_{1},w_{2},\cdot \cdot \cdot ,w_{t}w1,w2,⋅⋅⋅,wt , 其中wiϵv,vw_{i} \e原创 2020-06-02 17:56:48 · 823 阅读 · 0 评论