nlp学习
文章平均质量分 93
lq_fly_pig
这个作者很懒,什么都没留下…
展开
-
NER(命名体识别)之 FLAT模型
Lattice-LSTM是中文NER引入外部知识的开篇之作,具体的操作如下首先是通过词典进行匹配,找出query中的词汇,“重庆人和药店”,匹配的词汇,重庆、药店、人和药店Lattice是一个有向无环图(DAG),LatticeLSTM则将序列中的词汇信息(word-level)即词语的信息会融入到该词语对应的最后一个字的序列信息中。LatticeLSTM引入了一个wordcell结构,对于当前字符,融合以该字符结束的所有word信息若当前字符没有词汇引入时,则采取原生的LSTM进行计算。...原创 2022-07-31 17:02:56 · 1766 阅读 · 0 评论 -
文本匹配任务
一、任务概述二、常用方案三、sota 论文1.各向异性embedding 2.各向同性embedding四、 QA问题原创 2022-04-10 14:41:18 · 2066 阅读 · 0 评论 -
深度学习之文本分类总结
一、文本分类概况二、文本分类的发展三、文本分类常用的模型结构四、文本分类模型实际中遇到的问题(Q&A)原创 2022-03-25 15:50:52 · 18124 阅读 · 0 评论 -
Seq2Seq模型PyTorch版本
Seq2Seq模型一、Seq2Seq模型的概述二、Seq2Seq模型的结构三、Seq2Seq模型的代码讲解原创 2021-10-07 09:45:39 · 1783 阅读 · 1 评论 -
Word2vec词向量
前文也零散的写了些 关于神经网络模型的篇幅,如NNLM,本文着重讲解有关词向量的内容,从静态词向量到动态词向量等,其实相关的内容,网上也有很多,本人主要是为了做些记录和巩固下基础的知识点...原创 2021-10-03 16:25:25 · 1863 阅读 · 0 评论 -
Bert系列之 Transformer详解
Bert整体的模型结构使用的是Transformer的Encode模块 进行层次叠加,唯一的不同点是位置编码position embedding 使用的是随机初始化矩阵,没有使用的是三角函数,transformer中的位置编码使用的是 三角函数一.Transformer模型结构二....原创 2021-09-22 09:29:10 · 4108 阅读 · 0 评论 -
预训练模型 Bert
本篇开启bert源码讲解系列,从bert模型的基础开始讲起,结合HuggingFace出品的 pytorch源码逐步分析,有些图片来自于网络,有冒犯的,麻烦告知下~原创 2021-09-19 23:25:25 · 788 阅读 · 0 评论 -
循环神经网络RNN 之 LSTM
本篇文章主要是记录RNN 到LSTM的发展历程,以及文末给出一个能跑的demo示例一. RNN 循环神经网络1.1初识单层神经网络1.2RNN的结构1.3RNN的弊端二. LSTM网络三.双向LSTM网络四.代码例子原创 2021-09-04 18:51:24 · 1549 阅读 · 0 评论 -
语言模型(NNLM)
本文主要是记录神经网络语言模型原创 2021-08-29 00:11:32 · 4523 阅读 · 1 评论 -
深度学习之 卷积网络(textCNN)
近期利用零散的时间,系统的学习下 nlp经典的模型,主要是看了韩国一个小哥哥的github开源代码,写的很好,大家有时间 可以去看看,美中不足的是没有注释和说明,这里我主要是参考他的代码,自己学习学习,并顺便把nlp的零散的基础知识补充一下基础知识回顾:一. CNN网络二. textCNN网络三.代码展示:import torchimport torch.nn as nnimport torch.optim as optimimport pdbimport torch.nn.f原创 2021-08-24 23:24:42 · 1238 阅读 · 0 评论