深度学习
文章平均质量分 95
仰望星空的小狗
这个作者很懒,什么都没留下…
展开
-
【弱监督文本分类】LOTClass:只有标签名称的文本分类方法
文章目录0. 前言1. LOTClass分类方法整体流程2. LOTClass分类方法2.1 Category Understanding via Label Name2.2 Masked Category Prediction2.3 Self-Training3. result and analyse0. 前言目前的文本分类任务很多是需要基于大量标签数据进行分类模型训练,特别是在类别数目很大的情况下,人工进行数据打标就显得费时费力。《 Text Classification Using Labe原创 2021-11-27 14:43:28 · 2554 阅读 · 0 评论 -
bert学习笔记
这里写自定义目录标题bert概览既然上一篇中对transformer的相关知识进行了梳理,那么接下来当然轮到了bert了。与bert的相关paper可以直接点这里下载。bert概览原创 2020-12-20 00:40:39 · 1178 阅读 · 2 评论 -
transformer学习笔记
这里写自定义目录标题1、模型架构1.1 seq2seq结构1.2 注意力机制2、transformer各部分介绍2.1 encoder的输入欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入1、原创 2020-11-14 12:06:07 · 1828 阅读 · 1 评论 -
word2vec学习笔记之CBOW和skip-gram
文章目录1. Continuous Bag-of-Word Model(CBOW)1.1 One-word context(一个词的上下文)1.2 Multi-word context(多个词的上下文)2. Skip-gram model再上一篇学习笔记《word2vec学习笔记之概述》中介绍了word2vec提出的一些背景(当然,除了该篇文章中所说的一些向量化方法之外,在word2vec之后,...原创 2020-01-26 12:45:15 · 751 阅读 · 1 评论 -
word2vec学习笔记之文本向量化概述
文章目录1. 文本向量化表示的发展历程1.1 one-hot1. 文本向量化表示的发展历程在NLP的处理中,我们需要讲文本输入到模型中处理,实现分类识别,文本生成或者翻译等工作。而模型是无法知道一个纯粹的文本是什么意思的,模型的输入只能是数字,比如连续型的小数或则离散的整数。而对于文本之类的无法直接用数字表示的数据可以通过一下几种方式处理。1.1 one-hot在机器学习中,我们经常使用该...原创 2020-01-25 14:59:53 · 1884 阅读 · 0 评论 -
对抗生成网络(GAN)学习笔记
生成模型与判别模型判别模型:由数据直接学习决策函数Y=f(X)或条件概率分布P(Y|X)作为预测模型,即判别模型。判别方法关心的是对于给定的输入X,应该预测什么样的输出Y。 生成模型:由数据学习联合概率分布P(X,Y), 然后由P(Y|X)=P(X,Y)/P(X)求出概率分布P(Y|X)作为预测的模型。该方法表示了给定输入X与产生输出Y的生成关系。如LR,SVM等均值直接根据输入样本的特...原创 2018-02-26 13:51:01 · 1920 阅读 · 0 评论 -
批归一化Batch Normalization学习笔记
1 Batch Normalization(BN)的作用1.1 特征分布对神经网络训练的作用在神经网络的训练过程中,我们一般会将输入样本特征进行归一化处理,使数据变为均值为0,标准差为1的分布或者范围在0~1的分布。因为当我们没有将数据进行归一化的话,由于样本特征分布较散,可能会导致神经网络学习速度缓慢甚至难以学习。 用2维特征的样本做例子。如下两个图 上图中样本特征的分布为椭圆,...原创 2018-02-27 22:14:53 · 8562 阅读 · 0 评论 -
受限玻尔兹曼机与深度信念网络
1 受限玻尔兹曼机(RBM)1.1 RBM的结构RBM是无监督学习模型,有两个层的浅层神经网络,一个可见层,一个隐藏层,是一种用于降维、分类、回归、协同过滤、特征学习和主题建模的算法,它是组成深度置信网络的基础部件。 RBM的结构如下所示: 图1 RBM的前向运算图1 RBM的前向运算图1\space\space RBM的前向运算 ...原创 2018-03-05 11:02:00 · 2986 阅读 · 1 评论