NLP
文章平均质量分 94
仰望星空的小狗
这个作者很懒,什么都没留下…
展开
-
【弱监督文本分类】LOTClass:只有标签名称的文本分类方法
文章目录0. 前言1. LOTClass分类方法整体流程2. LOTClass分类方法2.1 Category Understanding via Label Name2.2 Masked Category Prediction2.3 Self-Training3. result and analyse0. 前言目前的文本分类任务很多是需要基于大量标签数据进行分类模型训练,特别是在类别数目很大的情况下,人工进行数据打标就显得费时费力。《 Text Classification Using Labe原创 2021-11-27 14:43:28 · 2317 阅读 · 0 评论 -
LET: Linguistic Knowledge Enhanced Graph Transformer for Chinese Short Text Matching学习笔记
文章目录1. 背景与相关技术1.1 解决的问题与方法1.2 HowNet1.3 Word lattice graph1.4 Graph attention networks2. LET2.1 模型整体架构2.2 input module2.2.1 word embedding2.2.2 sense embedding2.3 SaGT2.3.1 sense embedding迭代2.3.2 word embedding迭代2.4 sentence matching2.5 relation classify3.原创 2021-05-03 11:31:12 · 1252 阅读 · 3 评论 -
知识图谱学习笔记——知识抽取概述
文章目录0. 前言1. 实体抽取1.1 基于规则的方法1.2 基于统计模型的方法1.2.1 训练语料标注1.2.2 特征定义1.2.3 训练模型1.3 基于深度学习的方法2. 关系抽取2.1 基于模板的关系抽取方法2.2 基于监督学习的关系抽取方法0. 前言最近在看王昊奋老师的《知识图谱》,打算做一下学习笔记,当作是知识梳理。这篇文档主要梳理知识图谱中的知识抽取方面的内容。在知识抽取中,有面向非结构化数据,半结构化数据,以及结构化数据的知识抽取。非结构化数据指的是平时看到的文本,比如新闻文稿;结构化数原创 2021-02-02 13:06:00 · 1652 阅读 · 1 评论 -
bert学习笔记
这里写自定义目录标题bert概览既然上一篇中对transformer的相关知识进行了梳理,那么接下来当然轮到了bert了。与bert的相关paper可以直接点这里下载。bert概览原创 2020-12-20 00:40:39 · 875 阅读 · 2 评论 -
transformer学习笔记
这里写自定义目录标题1、模型架构1.1 seq2seq结构1.2 注意力机制2、transformer各部分介绍2.1 encoder的输入欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入1、原创 2020-11-14 12:06:07 · 1498 阅读 · 1 评论 -
word2vec学习笔记之CBOW和skip-gram
文章目录1. Continuous Bag-of-Word Model(CBOW)1.1 One-word context(一个词的上下文)1.2 Multi-word context(多个词的上下文)2. Skip-gram model再上一篇学习笔记《word2vec学习笔记之概述》中介绍了word2vec提出的一些背景(当然,除了该篇文章中所说的一些向量化方法之外,在word2vec之后,...原创 2020-01-26 12:45:15 · 698 阅读 · 1 评论 -
word2vec学习笔记之文本向量化概述
文章目录1. 文本向量化表示的发展历程1.1 one-hot1. 文本向量化表示的发展历程在NLP的处理中,我们需要讲文本输入到模型中处理,实现分类识别,文本生成或者翻译等工作。而模型是无法知道一个纯粹的文本是什么意思的,模型的输入只能是数字,比如连续型的小数或则离散的整数。而对于文本之类的无法直接用数字表示的数据可以通过一下几种方式处理。1.1 one-hot在机器学习中,我们经常使用该...原创 2020-01-25 14:59:53 · 1707 阅读 · 0 评论