实战谷歌Bert处理中文数据集cnews

已于 2023-04-14 10:33:07 修改
阅读量168 收藏
点赞数
分类专栏： NLP开源仓库模型实战记录 文章标签： 深度学习 机器学习 人工智能
于 2023-04-14 10:21:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37699342/article/details/130147068
版权
本文介绍了如何使用预训练的Bert模型对Cnews数据集进行微调，包括数据处理、模型训练、模型转换为pb文件以及pb文件转为onnx文件的详细步骤。
摘要由CSDN通过智能技术生成

目录

任务目标：用新的中文数据集+预训练的bert模型，来微调bert模型，来适配数据集中新的任务

Cnews数据集处理实战

对微调后的模型生成pb文件

将pb文件转为onnx文件

任务目标：用新的中文数据集+预训练的bert模型，来微调bert模型，来适配数据集中新的任务

  1. Copy dataprocessor参考xnli处理方法
  2. 先读训练数据
    1. File_path=os.path.join(data_dir,’xxx.train.tsv’)
    2. F=open(file_path,’r’,encoding=‘utf-8’)
    3. train_data=[]数据存入list中，后续传入input_example
    4. Index=0
    5. 遍历：for line in f.readlines():
    了解本专栏 订阅专栏 解锁全文 超级会员免费看
    想要好好撸AI
    关注
    • 0
      点赞
    • 踩
    • 0
      收藏
      觉得还不错? 一键收藏
    • 打赏
      打赏
    • 0
      评论
    专栏目录
    订阅专栏
    google newsgroup 18828文本集
    04-12
    老师分享版，著名的数据集合，也可以直接Google newsgroup 18828下载。
    10万条新闻数据的数据集
    06-30
    98000多条新闻数据集，包括财经，房产，家居，教育，科技，社会，时政，体育，游戏，娱乐这十个分类。
    【文本处理与分类】使用cnews新闻数据集进行文本分类（包含分词、词云、文本关键词提取等）
    QHCV的博客
    03-26 3457
    使用cnews新闻数据集进行文本分类（包含分词，数据清洗、词云、文本关键词提取等内容）
    HuggingFace BERT中文模型实战示例 中文分类
    xd0dx的博客
    04-09 1840
    参考：B站蓝斯诺特 import torch from datasets import load_dataset # 定义数据集 class Dataset(torch.utils.data.Dataset): def __init__(self, split): self.dataset = load_dataset(path='seamew/ChnSentiCorp', split=split) def __len__(self): return le
    BERT对中文文本分类实践（基于cnews数据集）
    pursuingparadise的博客
    06-12 3902
    最近在学习BERT，所以想用文本分类试验一下，本以为会很简单，但还是遇到不少问题。 参考的文章有： 这篇文章有一个小坑 这篇是正解 数据集 链接：https://pan.baidu.com/s/1LzTidW_LrdYMokN—Nyag 提取码：zejw 数据格式如下 从https://github.com/google-research/bert上克隆项目。 下载BERT的中文预训练模型： 链接：https://pan.baidu.com/s/14JcQXIBSaWyY7bRWdJW7yg 提取码：mv
    Google news
    congsikuai0611的博客
    06-05 51
    Google news链接:http://news.google.cn/news?ned=:ePkh8BM9E5LmYgn29XTWEnyyY-2LrvVPZ-99ObO1BiRkwCrE ...
    bert相似度训练数据集
    最新发布
    07-01
    bert相似度训练数据集
    python实现基于BERT 的中文数据集下的命名实体识别项目源码（高分项目）.zip
    10-21
    python实现基于BERT 的中文数据集下的命名实体识别项目源码（高分项目）.zip 该项目是个人大作业项目源码，评审分达到98分，都经过严格调试，确保可以运行！放心下载使用。 python实现基于BERT 的中文数据集下的...
    BERT复现，包括数据集，预训练和微调
    01-11
    BERT 是一种基于 Transformer 架构的大型预训练模型，它通过学习大量文本数据来理解语言的深层次结构和含义，从而在各种 NLP 任务中实现卓越的性能。 核心的 BERTModel 类集成了模型的主体架构。它首先利用 ...
    cnews_dataset-数据集
    03-26
    cnews_dataset是专为新闻类别识别设计的一个训练、测试数据集，它包含了丰富的文本信息，可用于机器学习和深度学习模型的训练，帮助我们理解和挖掘新闻内容的深层次结构。 数据集的核心在于其提供的四个主要文件： ...
    BERT 多分类train数据集
    12-13
    MRPC数据集，提取的多分类的任务。可分类10，跑pre-train
    word2vec-google-news-300.zip.008
    05-30
    Word2Vec 模型word2vec-google-news-300。在 Google News 数据集上训练完成的 Word2Vec 模型，覆盖了大约 300 万的词汇和短语。该模型是利用了整个 Google News 大约 1000 亿个词的语料训练而成！由于文件太大，将压缩包分成了10个部分。
    20_News_Groups_Dataset(20个新闻组数据集)
    05-13
    20_News_Groups_Dataset(20个新闻组数据集)
    GoogleNews-vectors-negative300.bin
    09-03
    英文的词向量 GoogleNews-vectors-negative300.bin网盘 GoogleNews-vectors-negative300.bin网盘
    word2vec-google-news-300.zip.003
    05-30
    Word2Vec 模型word2vec-google-news-300。在 Google News 数据集上训练完成的 Word2Vec 模型，覆盖了大约 300 万的词汇和短语。该模型是利用了整个 Google News 大约 1000 亿个词的语料训练而成！由于文件太大，将压缩包分成了10个部分。
    基于WeiboSenti100k 数据集bert-base-chinese微调的中文情感分析任务源码+项目说明.zip
    05-24
    使用Bert-base-Chinese，对微博评论数据集进行情感分类，分别是[积极/消极]。 使用WeiboSenti100k数据集，该数据集包含在./dataset。 该数据集包含10万条中国微博帖子，每条帖子都被标记为正面或负面。
    文本分类：cnews_loader.py模块详解
    qq_38473254的博客
    08-19 2194
    在学习文本分类过程中，以下笔记为对文本分类 cnews_loader.py 模块的解释说明 1.导入模块 # coding: utf-8 import sys from collections import Counter import numpy as np import tensorflow.keras as kr 2.python版本控制代码块 该代码块使整个程序可以在python 2...
    Google 最新推出数据集搜索
    weixin_30779691的博客
    09-09 134
    继Google在2004年11月推出Google的重量产品Google scholar后，Google在最近推出的另一个重量级产品 Google Dataset Search。众所周知，互联网上的信息是比较零散的。这些零散的信息收集起来非常费时间和经历，所以，Google推出了Google Dataset Search 帮助科研工作者或者是在校的大学生和老师更有效地搜索到他们所需要的信息。(1.信...
    Bert处理文本数据集
    05-24
    BERT（Bidirectional Encoder Representations from Transformers）是一种自然语言处理模型，它通过使用Transformer编码器来预训练文本数据集并生成通用的语言表示。BERT是一种双向模型，因此它可以同时考虑上下文和...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包

    打赏作者

    想要好好撸AI

    你的鼓励就是我最大的创作动力！

    ¥1 ¥2 ¥4 ¥6 ¥10 ¥20
    扫码支付：¥1
    获取中
    扫码支付

    您的余额不足，请更换扫码支付或充值

    打赏作者

    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值