- 博客(8)
- 收藏
- 关注
RSS订阅原创 集成学习简介
目录前言一、Bagging随机森林（Random Forest）二、BoostingAdaBoostGBDT三、Stacking前言集成学习是通过构建并结合多个学习器来完成学习任务，集成学习通过将多个基学习器结合，即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来，通常都会获得比单一学习器显著优越的泛化性能，是评测任务中必不可少的一个方法。目前集成学习可分为两大类，即个体学习器之间有依赖关系，必须串行生成的序列化方法；以及个体学习器不存在强依赖关系，可同时生成的并行化方法。前者的
2021-11-23 20:35:10
801
原创 文档级关系抽取-论文阅读：Entity Structure Within and Throughout
Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relation1 论文动机2 论文贡献3 方法3.1 实体结构3.2 SSAN3.3 变换模块总结这次阅读的论文是做文档级关系抽取任务的，发表于AAAI2021，作者来自于中国科学技术大学。目前主流的文档级关系抽取方法是构造文档级别的图，然后利用图学习的方法如图卷积、图注意力等获得实体结构特征用于关系抽取。但是这篇论文虽然也用了
2021-07-16 10:56:55
692
原创 数据、函数和模型(对象）迁移到GPU上（pytorch）
pytorch将数据放到GPU在训练深度学习模型的时候我们经常需要把张量和模型迁移到GPU上，下面简单介绍下其用法。1 .to(device) 和.cuda()os.environ['CUDA_VISIBLE_DEVICE']='1'
2021-07-06 20:53:27
14491
2
原创 文档级关系抽取小结及论文阅读：Document-Level Relation Extraction with Reconstruction
Document-Level Relation Extraction with Reconstruction一、背景介绍二、相关工作1、Attention Guided Graph Convolutional Networks for Relation Extraction2、Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network3、Connecting the Dots: Docum
2021-07-06 15:44:56
1311
原创 论文阅读：自监督图注意力网络
自监督图注意力网络一、论文介绍1. 动机2. 贡献3. 方法二、核心代码1.PyTorch-geometric（PyG）2.部分源码最近组会介绍了一篇论文，来源于ICLR2021的一篇会议论文，作者来自韩国的科学技术学院。 本次主讲内容主要是两个部分，分别对论文做个简单的介绍和对核心代码进行讲解。一、论文介绍1. 动机（1）图神经网络（GNNs）无法学到最优表示，主要是因为真实世界的图通常会存在噪音，不相关的节点间可能存在连接，所以早期使用图卷积神经网络（GCN）做关系抽取任务就会对句法分析树做剪枝
2021-05-21 10:42:20
996
原创 pytorch中的 ModuleList 和 Sequentia对比
pytorch中的 ModuleList 和 Sequential对比1 ModuleList2 Sequential在构建深度神经网络时，我们经常会用到ModuleList 和 Sequential，它们都是用来组合深度网络中的nn.Module/block，从而创建一个新的网络用的,能够简化模型的创建方式，但二者在使用上有所差异。下面是传统的模型创建方式：class model1(nn.Module): def __init__(self): super(model1,se
2021-04-26 21:35:15
204
原创 分层学习率设置和学习率衰减（pytorch）
分层学习率设置和学习率衰减（pytorch）1 分层学习率设置在使用bert或者其它预训练模型进行微调，下接其它具体任务相关的模块时，会面临这样一个问题，bert由于已经进行了预训练，参数已经达到了一个较好的水平，如果要保持其不会降低，学习率就不能太大，而下接结构是从零开始训练，用小的学习率训练不仅学习慢，而且也很难与BERT本体训练同步。因此在训练时候就需要对预训练层设置较小学习率，对下接层设置较大学习率。下面一pytorch框架简单介绍其方法。首先获取模型每层信息的的方法如下：for n,p i
2021-02-09 13:16:29
7097
2
原创 关系抽取中分类评价指标
新年第一篇博客~~，也是人生第一篇博客，愿能够坚持下去。最近做关系抽任务时在评价指标方面遇到了一些问题，因此对分类评价指标进评价指标重新进行了学习，在此做个简单的总结。评价指标一般是指是对机器学习模型算法和参数好坏的一种定量评价方法，目前大部分评价指标——不管是准确率还是f值都只能片面反应模型的效果，所以如何运用评价指标就显得尤为重要，往往需要多种评价指标综合运用。1 关系抽取中的主要评价指标在关系抽取中我们常用的评价指标一般有准确率（Accuracy）、精确率（Precision）、召回率（Reca
2021-01-02 15:53:52
3619
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人