Universal Language Model Fine-tuning for Text Classification(ULMFiT)阅读笔记

UMFiT是一种基于迁移学习的文本分类方法,它包括通用语言模型预训练、目标任务的语言模型微调和分类器微调三个阶段。论文提出了差异化微调、倾斜三角学习率和逐步解冻等技术,提升了模型在小数据集上的表现。实验中,使用了AWD-LSTM模型,并调整了各种参数以优化效果。
摘要由CSDN通过智能技术生成

UMFiT

Introduction

文章贡献点:

  1. 利用迁移学习的思想, 提出基于微调的通用语言模型(ULMiT)
  2. 提出discriminative fine-tuning, slanted triangular learning rates, gradual unfreezing等方法

Model

进入正题, 先来看下模型结构

首先预训练一个语言模型, 论文中采用的是AWD-LSTM(没有attention, short-cut connection, 只是加了很多dropout等防止过拟合的策略).
整个模型训练主要分为三部分:

  1. General-domin LM pretraining
  2. Target task LM fine-tuning
  3. Target task classifier fine-tuning

1. General-domin LM pretraining

在Wikitext-103上预训练一个语言模型, 其中包含28595篇处理过的文章.
预训练对小数据集的任务帮助很大.

2. Target task LM fine-tuning

利用目标任务数据集对预训练模型进行fine-tuning.
针对f

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值