Gavin老师Transformer直播课感悟 - 使用BERT对IMDB影视数据进行分析

最新推荐文章于 2024-05-23 16:44:31 发布
最新推荐文章于 2024-05-23 16:44:31 发布
阅读量1k 收藏 2
点赞数
分类专栏： AI 文章标签： transformer 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49380401/article/details/121585734
版权
本文通过使用BERT和Hugging Face的Transformer库，分析IMDB影视评论数据，探讨数据处理、模型训练和线上部署的过程。在有限的数据量下，模型训练效果有待提升，随着数据量增加，模型精确度提高。源码实践中，详细展示了BERT模型的集成和训练，以及使用Flask进行模型部署和在线测试的方法。
摘要由CSDN通过智能技术生成

一、概述

       通过使用BERT对IMDB影视数据进行分析的案例，来了解从数据收集与处理，模型实现，数据导入模型训练，到完成线上部署与测试的这样一个开发实践的过程。

1.数据收集

从下列地址下载影视评论测试数据：

 数据包含了对电影的评论信息(review列）和情感分类标签(sentiment列)，标签分为positive和negative两类：

 2.测试结果

为了节省模型训练时间，本次的训练数据只选取了整个下载数据集5万条数据中的1000条，但是由于训练数据量只有1000条，导致BERT模型训练效果不好，从训练结果看，得到的negative和positive的区分度不高，如果使用更多的数据如训练数据量达到5万条左右时，positive的值可以达到0.97左右，而negative的值则下降到0.02左右，从而极大地提高了模型的训练精确度。

下图是使用1000条数据训练后得到的结果：

二、源码实

最低0.47元/天 解锁文章
m0_49380401
关注
专栏目录
文本分类 - 利用BERT模型在IMDb电影评论数据集上进行情感分类任务
sybh的博客
04-20 713
在自然语言处理领域，文本分类是一个重要的任务，其目标是根据文本的内容将其归为某一预定义的类别。本篇博客将介绍如何使用BERT模型在IMDb电影评论数据集上进行情感分类任务。
尝试将BERT应用于IMDB情感分类任务
TEDIST的博客
02-25 2552
前言 之前在学习《Python深度学习》这本书的时候记得在书中有一个 使用GloVe词嵌入的方式进行IMDB数据集的情感分类任务，而最近在网上学习了一个使用BERT进行关系抽取的项目，于是乎考虑尝试用BERT来再次尝试对IMDB数据集的情感分类任务。同样的这次也是采取随机的200个数据集作为训练集，10000个数据集作为测试集。全部代码在github上已经给出。 步骤 本次实验的大致步骤同书中的例...
[NLP]基于IMDB影评情感分析之BERT实战-测试集上92.24%
Harry的博客
08-11 4217
完整代码 import tensorflow as tf # Get the GPU device name. device_name = tf.test.gpu_device_name() # The device name should look like the following: if device_name == '/device:GPU:0': print('Found GPU at: {}'.format(device_name)) else: raise SystemEr
PyTorch搭建Bert对IMDB数据集进行情感分析（文本分类）
KI的博客
09-17 2802
PyTorch搭建Bert对IMDB数据集进行情感分析（文本分类）
imdb自然语言处理bert预训练数据
01-27
imdb自然语言处理bert预训练数据
Gavin老师Transformer直播课感悟 - 使用BERT进行NER案例实战
m0_49380401的博客
11-26 1217
一、BERT Fine-tuning命名实体识别（NER） 命名实体识别（Name Entity Recognition）这项技术无论是在传统经典的机器学习算法还是在以神经网络为代表的新一代机器学习算法中都是核心技术，它在本质上来说就是信息提取(information extraction), 主要功能就是完成定位和分类，信息可以是结构化和非结构化数据。举例来讲，如果有一个文本，如何从这个文本中提取信息就是NER要完成的任务，从而把文本中的这些实体抽取到预定义好的类别。在工业实践中，譬如在...
Gavin老师Transformer直播课感悟 - BERT多任务Fine-tuning案例实战
m0_49380401的博客
11-27 1042
一、概述 从任务的视角来看BERT的微调(Fine-tuning), 通过下游监督式学习的任务（设定预定义的标签）来对BERT预训练之后的网络进行微调，这里重点需要关注的是"Further Pre-training"部分和"Multi-Task Fine-tuning"部分。BERT在工作时是个分类器，无论针对的是单任务还是多任务，是聚焦于全局的信息([CLS])还是局部的信息（NER），BERT能够捕获领域通用的语义信息从而能够更精细化地表达输入内容，在输出时使用vector或者matr...
Gavin老师Transformer直播课感悟 - BERT分类任务案例实践及Fine-tuning
m0_49380401的博客
11-25 665
一、BERT微调( Fine Tuning)背后的数学机制 在BERT的微调背后，有一整套的数学机制和一整套的工程实践，还有很多看起来不太明显的技术细节，而这些细节会在很大程度上影响BERT的训练结果。对于迁移学习(Transfer Learning)来说，BERT的微调并不是一个必不可少的环节，举个例子，在计算机视觉(Computer Vision)识别领域，使用BERT做好的模型在很多场景下可以直接使用，而在NLP领域，虽然我们也是在模型中使用了迁移学习，但是微调能够使模型更...
Gavin老师Transformer直播课感悟 - BERT论文逐行解密：算法、数学、源码
m0_49380401的博客
11-29 813
从论文角度对BERT全方位深度剖析 本文从BERT的一篇经典论文来剖析BERT的内部机制与实现原理，以及BERT在NLP领域具有的优势或者说运用价值（论文的链接地址：https://arxiv.org/pdf/1810.04805.pdf）。 BERT是论文原话” Bidirectional Encoder Representations from Transformers”的首字母的组合。在这里着重强调两点，一是BERT是基于Transformer衍生而来，我们通过比较两者之间的架构，就很容易理解；..
自然语言处理——BERT情感分类实战(一)之预处理
12-22
写在前面 网上已经有很多文章对BERT的原理讲得很清楚了，今天我将以实战的方式（假装大家都懂原理≧◔◡◔≦）一步步带大家操作最近比较流行的BERT模型。源代码是pytorch版本。由于篇幅比较长我将分几个部分讲解。第一部分是数据的预处理。这一部分比较简单，但也很重要！ 数据的预处理 对文本处理大致分为六个步骤，如图： 【注】本实验平台为Colab 预处理前需要导入的包： !pip install transformers #注：此为使用Colab安装方法 import torch from transformers import BertModel, BertTokenizer 预训练模
imdb数据集（训练数据和测试数据）
10-15
数据 allmdb 其中包括训练数据和测试数据以及redme ~~~
SwanLab入门深度学习：BERT IMDB文本情感分类
最新发布
SoulmateY的博客
05-23 1183
基于BERT模型的IMDB电影评论情感分类，是NLP经典的Hello World任务之一。这篇文章我将带大家使用SwanLab、transformers、datasets三个开源工具，完成从数据集准备、代码编写、可视化训练的全过程。观察了一下，中文互联网上似乎很少有能直接跑起来的BERT训练代码和教程，所以也希望这篇文章可以帮到大家。
Pytorch使用BERT预训练模型微调文本分类，IMDb电影评论数据集
Code_Tookie的博客
03-18 8332
最近终于用Pytorch把BERT的fine tune本文分类跑通了，算是对于pytorch和bert的理解都深了一点。 现在把我训练的整个流程记录分享一下。 Google Colab 因为BERT的模型比较大，参数也非常多。所以自己电脑用CPU是基本跑不出来的。在Google Colab上用免费GPU我感觉非常方便。对于新手而言，其交互式界面也很友好。 还有一个好处是Google Colab自带...
BERT实战——使用IMDB影评数据集实现电影评论情感分类
qq_46634315的博客
07-30 4507
之前学习了如何使用BERT实现文本分类，本次想融会贯通一下实现电影评论情感分类任务。完成之后感觉对整个过程有了更深的认识。 本次相较于之前，主要工作是，a）对于新的任务，对原始数据进行预处理，以期满足特定任务；b）编写应用程序，对用户在控制台的输入电影评论进行情感判断。 最终，由于训练时间太长了，就训练了一个epoch，在测试集上的测试精度为86.64%，在实际应用中可以较好地对电影评论情感进行分类。
微调BERT实现对IMDB数据集的情感分析(Sentiment Analysis)
白马负金羁
01-22 401
BERT是Google提出的一个基于Transformer的自然语言处理领域的预训练模型。在得到一个预训练的模型之后，针对不同的具体任务，还要做Fine-tuning。本文将演示在Tensorflow中微调BERT模型实现对文本进行分类的目的。文本情感分析（Sentiment Analysis）是自然语言处理中的一个常见任务
2024年最全[NLP]基于IMDB影评情感分析之BERT实战-测试集上92，从入门到真香
2401_84715513的博客
05-08 961
Imdb影评的数据集介绍与下载下面我用三种方法来训练Bert用IMDB影评数据集现在基本性能好一些的NLP模型，例如OpenAI GPT，google的BERT，在数据预处理的时候都会有WordPiece的过程。WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思。WordPiece的一种主要的实现方式叫做BPE（Byte-Pair Encoding）双字节编码。BPE的过程可以理解为把一个单词再拆分，使得我们的此表会变得精简，并且寓意更加清晰。
使用bert base uncased模型进行IMDB情感预测
weixin_43991446的博客
09-28 543
使用bert预训练模型进行IMDB情感预测 torchtext transformers 代码好像是调好了，，， 踩了无数个坑，，， 没人带一个人学真的太难了啊啊啊啊。 明天发！ 回去跑步。
自然语言基础3--IMDB下的 MLM (掩码模型) & Bert Fine-tuning (模型微调)
disanda的专栏
07-09 1365
本文是Hugging Face 上 NLP的一篇代码教程，通过imdb数据集， Fine-tuning微调 Bert预训练模型。涉及关键词包括: MLM, Bert, Fine-tuning, IMDB, Huggingface Repo。
企业所需数据分析人才的核心技能与价值
在2019年3月17日的分享中，Gavin探讨了企业对数据分析人才的需求及其重要性。随着互联网时代的来临，数据已经成为企业发展的关键驱动力。企业需要数据分析人才是因为： 1. 数据的价值与企业发展紧密相关：在大数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值