论文《CPM: A Large-scale Generative Chinese Pre-trained Language Model》

最新推荐文章于 2025-03-07 20:29:49 发布
最新推荐文章于 2025-03-07 20:29:49 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： NLP PyTorch 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mark_technology/article/details/118680728
版权
本文介绍了CPM，一个2.6B参数的中文预训练语言模型，使用100GB中文数据训练。CPM在对话、文章生成、完形填空和语言理解等任务中表现出色。与GPT架构类似，CPM针对中文特点构建了新的子词词汇，并采用大批次训练策略。实验结果显示，CPM在文本分类、成语填空、对话生成、问答系统和实体生成等多个任务中取得良好效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. Introduction

  1. GPT-3含有175B参数使用了570GB的数据进行训练。但大多数语料是基于英文（93%），并且GPT-3的参数没有分布，所以提出了CPM（Chinese Pretrained language Model）：包含2.6B参数，使用100GB中文训练数据。
  2. CPM可以对接下游任务：对话、文章生成、完形填空、语言理解。
  3. 随着参数规模的增加，CPM在一些数据集上表现更好，表示大模型在语言生成和理解上面更有效。
  4. 文章的主要贡献
    • 发布了一个CPM：2.6B参数，100GB中文训练数据
    • 我们在分词语料库的基础上构建了一种新的子词词汇来适应汉语语料库，并将批处理量增加到3072个，以获得更稳定的模型训练
    • 在小样本甚至0样本中得到较好的性能

2. Approach

2.1 Chinese PLM

CPM的模型架构与GPT的架构类似（从左到右的Transformer encoder），下图是三个不同规模的预训练模型
在这里插入图片描述
为了使CPM适配中文语料，build a new sub-word vocabulary and adjust the training batch size

**Vocabulary construction：**BERT-

最低0.47元/天 解锁文章
CPM:A large-scale generative chinese pre-trained lanuage model
liguandong
07-29 3075
Easy-to-useCPMforChinesetextgeneration（基于CPM的中文文本生成）-GitHub-yangjianxin1/CPMEasy-to-useCPMforChinesetextgeneration（基于CPM的中文文本生成）CPM的词汇表有3w个。丰富的中文训练数据，中文数据其实比较好搞，直接网上爬就可以，git上作为提供了一个作文预训练的模型，在这个预训练模型上finetune效果也不错，我的训练数据大概有7-8w的标题-文本对数据。......
CPM论文笔记
qq_39862223的博客
11-11 2257
目录0.绪论1.CPM是什么？2.摘要3.本文方法3.1 Pose Machines3.2 Convolutional Pose Machines3.2.1 Keypoint Localization Using Local Image Evidence3.3 Sequential Prediction with Learned Spatial Context Features3.3 Learning in Convolutional Pose Machines 0.绪论 什么是人体姿态估计？ 人体.
CPM论文翻译（CVPR2016）
lazy storm
12-16 3049
ABSTRACT姿态机提供了一种对丰富隐空间模型的学习的连续帧估计。我们为姿态识别系统地设计了一个卷积网络，可以学习图像特征和依赖图像的空间模型。论文贡献：隐含地对长距离关系建模（关节）。我们设计了一个级联网络结构，由输入为前一个网络的信任图的卷积网络构成。它一层一层改进对部件的估计，不用显式的图模型作为参照。我们运用中间监视层解决了权重消失的问题，它可以再丰富反向传播权重并且调整学习过程。我们在。
CPM-Generate:中文预训练语言模型（CPM-LM）版本-I
03-11
千次曝光出价产生 为了促进中文自然语言处理研究的发展，本项目提供了CPM-LM （2.6B）模型的文本生成代码，可用于文本生成的本地测试，并同时为基础进一步研究零次学习/少次学习等场景。[] [] [] 安装 首先安装pytorch等基础依赖，再安装以支持fp16： pip install -r requirements.txt git clone https://github.com/NVIDIA/apex cd apex pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./ 考虑到apex的安装容易发生问题，我们内置了对应的Docker容器，可以进行快速环境搭建。安装方式如下： docker pull dmye/cpm:v0 参考运行指令如下： sudo
《预训练周刊》第13期：CPM-2：大规模经济高效的预训练语言模型、变换器作为编程语言...
BAAIBeijing的博客
06-24 1247
No.13智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点，为了帮助研究与工程人员了解这一领域的进展和资讯，智源社区整理了第13期《预训练周刊》...
CPM-Generate-Pytorch
05-30
CPM-Generate-Pytorch 本Repo将模型转换为Pytorch单卡/CPU可运行的版本，原Repo 原项目首页： 原项目介绍文章： 项目说明 ...title={CPM: A Large-scale Generative Chinese Pre-trained Language Model},
超大规模生成式中文预训练语言模型：CPM的构建与应用
最新发布
qq_35480722的博客
03-07 712
本文介绍了清华大学与BAAI联合发布的中文预训练语言模型（Chinese Pre-trained Language Model, CPM）。CPM是一个基于生成预训练的大规模中文语言模型，包含26亿参数和100GB中文训练数据，是目前最大的中文预训练语言模型。它能够在对话生成、文章生成、填空测试和语言理解等多种下游中文NLP任务中表现出色。实验结果表明，CPM在零样本甚至少样本设置下实现了较强的任务性能。模型通过构造新的子词词汇表并调整训练批大小来适应中文语料库，同时通过增加参数量来提升模型性能。
【文献阅读】ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information
九筒的博客
03-16 1379
Abstract 最近的中文预训练模型忽略了中文特有的两个重要方面：字形和拼音，它们携带重要的句法和语义信息，用于语言理解 我们提出了 ChineseBERT，它将汉字的字形和拼音信息结合到语言模型预训练中 字形：汉字的不同字体 字音：汉语拼音（处理多音字） Introduction 由于预训练模型最初是为英语设计的,因此在当前的大规模预训练中缺少两个特定于中文的重要方面：基于字形的信息和基于拼音的信息 对于前者，使中文与英语、德语等语言区分开来的一个关键方面是汉语是一种表意语言。 字符的语标对语义信息进行
CPM1模型
qq_38335659的博客
03-08 1392
预训练语言模型(PLMs)已被证明对各种下游NLP任务是有益的。最近，拥有1750亿个参数和570Gb训练数据的GPT-3因其few-shot(甚至zero-shot)学习能力而备受关注。然而，由于GPT-3的训练语料库主要为英语，且参数尚未公开，因此应用GPT-3解决中文NLP任务仍然具有挑战性。北京智源人工智能研究院和清华大学发布了基于大规模中文训练数据的生成式预训练的中文预训练语言模型(CPM，Chinese Pre-trained Language Model )。
中文版GPT-3来了？智源研究院发布清源 CPM —— 以中文为核心的大规模预训练模型...
BAAIBeijing的博客
11-16 2161
清源 CPM(Chinese Pretrained Models)是北京智源人工智能研究院和清华大学研究团队合作开展的大规模预训练模型开源计划，清源计划是以中文为核心的大规模预训练模型。...
社区发现算法———CPM算法
qq_16543881的博客
02-04 6071
派系过滤CPM方法(clique percolation method) 注意： （1）派系过滤CPM方法(clique percolation method)用于发现重叠社区，派系(clique)是任意两点都相连的顶点的集合，即完全子图。 ​ 在社区内部节点之间连接密切，边密度高，容易形成派系(clique)。因此，社区内部的边有较大可能形成大的完全子图，而社区之间的边却几乎不可能形成较大的完全子图，从而可以通过找出网络中的派系来发现社区。 （2）k-派系表示网络中含有k个节点的完全子图，如果一个k-派
盘点一下今年以来的各种大模型们
胭脂草的ABC博客
08-15 1342
论文：严格来说CPM模型发布在2020年12月左右，其实很多代码和文件都是2021年才放出来的，所以勉强也算“今年”吧。CPM这个名字应该是Chinese Pretrained language Model的缩写。自从GPT-3在2020年5月发布之后，我其实一直就很期待中文的类似模型的，所以对于CPM也是抱有了很大的期待。...
中文版GPT3——CPM(2.6B)微调长短文本生成(对应小说歌词)
热门推荐
weixin_41611054的博客
07-07 1万+
CPM CPM(Chinese Pretrained Models)模型是北京智源人工智能研究院和清华大学发布的中文大规模预训练模型。官方发布了三种规模的模型，参数量分别为109M、334M、2.6B。关于预训练模型的大量实验表明，更大的模型参数和更多的预训练数据，通常能够带来更好的下游任务效果，这类模型被证明在各种少样本学习 NLP 任务中十分有效。传统预训练模型往往需要经过有监督训练数据微调 (Fine-tuning)，才能解决各种自然语言处理任务。 本项目微调了CP...
基于CPM的中文文本生成学习过程
weixin_48799576的博客
06-18 636
论文地址：模型是北京智源人工智能研究院和清华大学发布的中文大规模预训练模型。
AI文章生成
github_73521658的博客
09-27 5706
AI文章生成🤞
基于CPM的中文作文生成模型，引经据典、修辞手法，信手拈来
张伟的专栏
05-01 3564
在本文中，笔者将介绍CPM（Chinese Pretrained Models）模型，这是一个中文预训练生成模型，并且分享笔者训练的一个基于CPM的中文作文生成模型，包括模型权重、笔者爬取的26万篇中文作文语料，也将对模型和训练细节进行介绍。 首先展示一下模型生成效果，下图中的样例均为模型生成，且未经过人为修改。可以看到模型生成的作文总体上比较切题，也比较通顺，还能引经据典，使用修辞手法。 项目地址： https://github.com/yangjianxin1/CPM 论文标题：
姿态估计CPM
年轻即出发，
11-14 3292
论文：Convolutional Pose Machines Github：https://github.com/timctho/convolutional-pose-machines-tensorflow https://github.com/JindongJiang/WeightedLoss_Convolutional_Pose_Machines_PyTorch CMU的工作...
卷积姿态机(单人姿态识别)论文阅读 CVPR2016
I good vegetable a!
02-05 6367
项目代码：https://github.com/CMU-Perceptual-Computing-Lab/convolutional-pose-machines-release 论文原文：https://arxiv.org/abs/1602.00134 推荐一篇写的特别好的总结博文：http://blog.csdn.net/zimenglan_sysu/article/details/520
CLUECorpus2020: A Large-scale Chinese Corpus for Pre-training Language Model
candy134834的博客
09-25 1433
整篇文章，很好理解，建议大家读一下。 0 摘要 主要是使用CLUECorpus2020，100G语料预训练模型。他们在小数据及以及大数据集上做了实验，表明这个语料训练的模型，更适合中文。他们使用的vcoba_clue是8k,是google的Chinese Bert的1/3 。他们发布了这个语料训练的小模型和大模型。大模型能达到最高的水平,小模型在保留大部分精度的情况下加速了训练,并且预测速度是bert-base的8倍。 1 引言 这篇论文的主要贡献是： • 提供了可供预训练...
esrgan: enhanced super-resolution generative adversarial networks
06-28
### 回答1： ESRGAN是增强型超分辨率生成对抗网络的缩写，它是一种深度学习模型，用于将低分辨率图像转换为高分辨率图像。它使用生成对抗网络（GAN）的方法，通过训练生成器和判别器来提高图像的质量。ESRGAN是目前最先进的超分辨率算法之一，它可以生成更加真实、细节更加丰富的高分辨率图像。 ### 回答2： ESRGAN是一种增强超分辨率生成对抗网络（Enhanced Super-Resolution Generative Adversarial Networks）的算法，它采用了图像增强技术和深度学习的方法，可以将低分辨率（LR）的图像转化为高分辨率（HR）的图像。该算法主要的贡献在于，它可以生成更加逼真的HR图像，从而更好地应用于实际的图像处理领域。 该算法主要是由两个子模型组成的，一个是生成模型（Generator），另一个是判别模型（Discriminator）。生成模型通过学习HR图像和相应的LR图像之间的关系，生成更加逼真的HR图像。而判别模型则评估生成模型生成的HR图像是否真实，从而提高生成模型的准确度。 ESRGAN算法采用特殊的损失函数，即感知损失和自适应增强损失，来优化生成模型。感知损失通过VGG网络来计算生成模型和HR图像之间的差异，以此来调整生成模型的参数。自适应增强损失则用于动态调整生成模型的输出图像的细节层次，使生成模型产生更加真实的输出图像。 ESRGAN算法在图像增强领域取得了显著的成果，其生成的HR图像质量要比先前的SRGAN算法有了很大的提升。因此，ESRGAN算法在实际应用中具有广泛的前景，可以为图像处理领域提供更加高效、准确和可靠的方法。 ### 回答3： ESRGAN（Enhanced Super-Resolution Generative Adversarial Networks）是一种利用深度学习算法进行图像超分辨率的技术。其主要思路是基于GAN模型，通过训练一个生成器去从低分辨率图像生成高分辨率图像，同时以高分辨率的真实图片为样本来训练判别器模型，使其能够区分出生成器生成的图像是否为真实高清图像。 ESRGAN相对于传统的超分辨率算法，具有以下几个优点： 1.超分辨率效果更好。传统的超分辨率算法往往是基于一些数学模型进行插值运算，因此往往会出现图像模糊、失真等问题。而ESRGAN能够通过深度学习算法学习到更加准确的纹理特征，从而可以生成更为真实的高清图像。 2.可扩展性更强。ESRGAN的GAN模型可以通过增加网络深度、增加训练数据等方式对模型进行优化，从而提高图像超分辨率效果。 3.针对性更强。ESRGAN可以针对不同种类的图像进行训练，从而能够对各种类型的图像进行超分辨率处理，具有广泛的适用性。 4.易于应用。ESRGAN训练出的模型可以很方便地应用到实际生产环境中，对于需要进行图像超分辨率处理的应用场景具有很大的帮助作用。 虽然ESRGAN在图像超分辨率方面具有较为突出的优势，但其也存在一些缺点和挑战。比如需要大量的高清图像数据用于训练，需要考虑到训练时间和计算资源的问题；还需要解决一些局部纹理复杂的图像超分辨率问题。总之，ESRGAN是一种非常有潜力的图像超分辨率算法，将有助于推动图像处理技术的进一步发展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值