文本分类半监督问题（九）

最新推荐文章于 2024-08-05 15:23:39 发布
最新推荐文章于 2024-08-05 15:23:39 发布
阅读量380 收藏
点赞数
文章标签： 自然语言处理 神经网络 分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50109501/article/details/121600335
版权
本文深入解析mixtext模型的实现代码，重点分析了BertModel4Mix和MixText类。BertModel4Mix主要负责设置模型的mask、token_type和输入id的词嵌入等，而MixText类结合BERT模型，利用反馈网络实现文本分类，并通过全连接层映射到标签类别。在训练过程中，模型接受[batch_size, seq_len, embedding_dim]的输入，经过处理后，通过线性模型预测得到[batch_size, num_labels]的输出作为分类结果。" 123743088,11050885,C语言中的字符串与内存函数详解,"['C语言', '字符串处理', '内存操作']
摘要由CSDN通过智能技术生成

2021SC@SDUSC

下面我们分析mixtext模型的实现代码：

mixtext.py文件：

首先，我们看到，该模型分为三个类，第一个是BertModle4Mix，第二个是BertEncode4Mix，第三个是我们所需要的MixText，从代码细节中可以得知，3⃣️调用1⃣️而1⃣️又调用了2⃣️。​​​​​​​

首先我们来分析BertModel4Mix类：这个类主要是设置模型的一些mask，token_type, 输入id做词嵌入等

首先是它的构造函数，将bert模型改成了mix，其内含有继承bert的编码方法embeddings算法，模型encoder,而Bertpooler是一个全连接加一个函数激活。self.init_weights是初始化参数。

class BertModel4Mix(BertPreTrainedModel):
    def __init__(self, config):
        super(BertModel4Mix, self).__init__(config)
        self.embeddings = BertEmbeddings(config)
        self.encoder = BertEncoder4Mix(config)
        self.pooler = BertPooler(config)

        self.init_weights()
下面的方法是用来修改模型头部的，heads_to_prune参数即为我们需要修改的层的头部名



def _prune_heads(self, heads_to_prune):

    for layer,
最低0.47元/天 解锁文章
Zack_510
关注
gcn 半监督文本分类1
08-03
GCN半监督文本分类 文本分类是自然语言处理中一个重要的经典问题。最近，在文本分类任务中，卷积神经网络（CNN）和递归神经网络（RNN）等深度学习模型被广泛应用。但是，这些模型都有其固有的缺陷，例如CNN对文本的...
关于hugging face transformers中PreTrainedModel的pruned_heads和tie_weights
taoqick的专栏
04-05 1230
主要原因有两点，一是减少了参数的数量，加速训练过程，二是tied weights可以被看做是一种正则化形式，在实践中能获得更好的性能。在 NLP 任务中，将输入嵌入和输出嵌入权重绑定是一种常见的实践。在某些情况下，权重绑定可能限制了模型的表示能力，从而导致性能下降。1. prune_heads的输入是一个Dict[int, List[int]]，即选一些层进行剪枝。2. self.apply是nn.module的一个方法，它会递归地把每一个子module都调用self._init_weights方法。
转载-BERT源码详解（一）——HuggingFace Transformers源码解
卢克治-BJTU-NLP-的博客
01-02 1533
众所周知，BERT模型自2018年问世起就各种屠榜，开启了NLP领域预训练+微调的范式。到现在，BERT的相关衍生模型层出不穷（XL-Net、RoBERTa、ALBERT、ELECTRA、ERNIE等），要理解它们可以先从BERT这个始祖入手。 HuggingFace是一家总部位于纽约的聊天机器人初创服务商，很早就捕捉到BERT大潮流的信号并着手实现基于pytorch的BERT模型。这一项目最初名为pytorch-pretrained-bert，在复现了原始效果的同时，提供了易用的方法以方便在这一强大模型
torch.nn.Linear的维度变换过程详解（有图有公式有代码）
最新发布
weixin_44115575的博客
08-05 1694
当初在学习nn.Linear时了解到的博客都是关于一维变换的，比如输入3通道，输出6通道；又比如得到（3，4，4）的特征图，需要进行拉平为（48，）的向量，然后通过nn.Linear（48，10）得到10个输出（分类任务很常见）。 nn.Linear除了可以进行分类，主要的作用就是改变维度便于下一个卷积层或线形层的输入。 但是在实际代码中，nn.Linear的输入往往都是多维数据，一样可以正常输出。所以经过查阅手册和各个帖子，给出了自己的理解，作为笔记。
编写一个Transformer模型：BERT
qq_40087229的博客
09-22 492
目录前言1-Tokenization分词-BertTokenizer2-Model-BertModel2.1-BertEmbeddings2.2-BertEncoder2.2.1.1 BertAttention2.2.1.1.1 BertSelfAttention2.2.1.1.2 BertSelfOutput2.2.1.2 BertIntermediate2.2.1.3 BertOutput2.2.3 BertPooler总结致谢 前言 1-Tokenization分词-BertTokenizer 和
BERT源码详解（一）——HuggingFace Transformers源码解
张伟的专栏
10-31 3022
这一次不介绍新文章，只是记录一下对HuggingFace开源的Transformers项目代码的理解。不算什么新鲜的东西，权当个人的备忘录，把了解过和BERT相关的东西都记录下来。本文首发于知乎专栏机器学不动了，禁止任何未经本人 @Riroaki 授权的转载。 众所周知，BERT模型自2018年问世起就各种屠榜，开启了NLP领域预训练+微调的范式。到现在，BERT的相关衍生模型层出不穷（XL-Net、RoBERTa、ALBERT、ELECTRA、ERNIE等），要理解它们可以先从BERT这个始祖...
BERT源码解析-#notebook-code
weixin_53162487的博客
03-15 1642
回顾:BERT结构 BERT模型结构基本上就是Transformer的Encoder部分，BERT-base对应的是12层encoder，BERT-large对应的是24层encoder. BERT模型结构 BERT Tokenization 分词模型（BertTokenizer） BERT Model 本体模型（BertModel） BertEmbeddings BertEncoder BertLayer BertAttention BertIntermediate BertOutput
一种半监督学习的金融新闻文本分类算法.docx
05-23
为了解决这些问题，本文提出了一种基于半监督学习的金融新闻文本分类算法(SSF)，旨在通过有效利用未标注数据来提高分类精度。 #### 半监督学习背景 半监督学习是一种结合有监督学习与无监督学习的技术，其核心在于...
文档主题的半监督分类问题-pyhon-机器学习
03-18
本次作业解决问题具体化为：文档主题的半监督分类问题。 二、数据分析 （一）认识数据 数据集描述：对于每个文本数据集，D文档的数量，W是文档字典集中单词数量，N是数据中所有单词数量（NNZ为非零数据的数量），在...
【Pytorch 学习笔记】def init_weights() 初始化参数
zjy_cn的博客
10-19 3783
nn.init.constant_() 是 torch.nn 中的用于填充数值的函数，这里用于指定初始化值，还有许多其他函数可用于此。在生成网络 net 时，会指定 net 最初的权重，对于一些预训练好的模型权重，就可以放在这个部分进行加载。在 CNN 中，经常可以看见 init_weights() 函数，它是用来初始化网络参数的。并不是所有的层都能初始化权重的，比如 nn.MaxPool2d()，它是无法初始化的。init_weights(self, m) 中的 m 就是指 net 中的某一层。
huggingface实操_预训练模型专题_GPT2_模型代码学习笔记
weixin_39908082的博客
12-31 1292
class Attention(nn.Module):def __init__(self, nx, n_ctx, config, scale=False, is_cross_attention=False):super().__init__()n_state = nx # in Attention: n_state=768 (nx=n_embd)# [switch nx => n_stat...
init_weight代码
zy的博客
12-17 896
def _init_weights 代码
神经网络中的权重初始化方式和pytorch应用
wuruoting_claire的博客
11-02 1716
深度学习中神经网络权重初始化的方法介绍。
使用PyTorch手写代码从头构建LSTM，更深入的理解其工作原理
deephub
05-28 7942
这是一个造轮子的过程，但是从头构建LSTM能够使我们对体系结构进行更加了解，并将我们的研究带入下一个层次。 LSTM单元是递归神经网络深度学习研究领域中最有趣的结构之一：它不仅使模型能够从长序列中学习，而且还为长、短期记忆创建了一个数值抽象，可以在需要时相互替换。 在这篇文章中，我们不仅将介绍LSTM单元的体系结构，还将通过PyTorch手工实现它。 最后但最不重要的是，我们将展示如何对我们的实现做一些小的调整，以实现一些新的想法，这些想法确实出现在LSTM研究领域，如peephole。 LSTM体系结构
pytorch——weights_init(m)
Linyuxinlxy的博客
10-14 9042
本文参考连接：https://www.jianshu.com/p/c982d55db463 个人认为是讲的比较通俗易懂的一篇好文。 针对于不同层类型定制化初始化 举个栗子： def weights_init(m): ##定义参数初始化函数 classname = m.__class__.__name__ # m作为一个形参，原则上可以传递很多...
【python】利用两层神经网络（网络必须用类）来训练mnist数据（要求准确率90%以上）
月下花弄影
04-15 1720
要求： 用python自建一个class类，不能使用其他高级库函数，如pytorch，tensorflow，含有两个隐含层，隐含层数量可以指定。 准确率达到90以上。 画出学习曲线：损失曲线核准确率曲线。 本程序在jupyter下完成。共三个代码： 程序可直接下载（包含数据）下载地址 1.主代码（自建类函数） import numpy as np import matplotlib.pyplo...
mmdetection源码笔记（二）：创建网络模型之cascade_rcnn.py的解读（中）
Activewaste
08-18 9129
引言： cascade_rcnn.py文件在moels/detections文件夹下。本次对文件cascade_rcnn.py的代码解读，是根据py配置文件configs/cascade_rcnn_r50_fpn_1x.py的数据信息进行讲解的。 moels/detectionscascade_rcnn.py文件中 主要的内容如下： __init__() ：module的构造函数。 init_w...
半监督LDA在文本分类中的应用研究
"基于半监督LDA的文本分类应用研究，探讨了在信息爆炸时代，如何利用非结构化数据中的知识，以及LDA模型在文本分类中的应用和改进。" 在当前信息化社会，数据的快速增长使得非结构化数据占据了主导地位，这些数据中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值