历史最全最新中文自然语言处理预训练模型汇总分享

最新推荐文章于 2024-03-04 09:54:43 发布
最新推荐文章于 2024-03-04 09:54:43 发布
阅读量1.9k 收藏 16
点赞数
分类专栏： 深度学习与机器翻译 深度学习优化策略汇总 深度学习实战 文章标签： 深度学习 tensorflow 神经网络 数据挖掘 自动驾驶
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lqfarmer/article/details/113762605
版权

图片

    在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型，并将持续更新。包含自然语言理解系列模型，如BERT、RoBERTa、ALBERT、NEZHA、XLNET、MacBERT、ELECTRA、ZEN、ERNIE。自然语言生产系列模型，如GPT、NEZHA-GEN、UniLM

    资源整理自网络，模型下载地址见源地址：

https://github.com/lonePatient/awesome-pretrained-chinese-nlp-models

图片

图片

图片

图片

lqfarmer
关注
  • 0
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python自然语言处理-BERT实战
10-26
给大家分享一套课程——Python自然语言处理-BERT实战，提供全部课程资料，包括PPT,数据,代码。 Python自然语言处理-BERT模型实战课程旨在帮助同学们快速掌握当下NLP领域最核心的算法模型BERT的原理构造与应用实例。通俗讲解BERT模型中所涉及的核心知识点（Transformer,self-attention等），基于google开源BERT项目从零开始讲解如何搭建自然语言处理通用框架，通过debug源码详细解读其中每一核心代码模块的功能与作用。最后基于BERT框架进行中文情感分析与命名实体识别等主流项目实战。
【自然语言处理 | BERT】BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding论文讲解
wzk4869的博客
05-04 1034
【自然语言处理 | BERT】BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding论文讲解
中文预训练文本向量模型大合集（附使用代码）
最新发布
qq_48814168的博客
03-04 1557
（1）BGE直接对先验语义知识单元进行建模，增强了模型的语义表示能力。它通过对词、实体等语义单元的掩码，使得模型学习完整概念的语义表示（2）由通用文本预训练、通用文本微调和特定任务微调三个阶段组成。（1）GTE 是一种用于文本表示的嵌入模型。（2）它采用了Transformer encoder，有3种不同模式尺寸：MiniLM-small、BERT-BASE和BERT-LARGE。（3）训练时采用双塔模型结构，将语言模型生成的所有位置的最后一层隐状态的均值作为句子表征，即句向量。
深度学习：BERT模型
热门推荐
皮皮blog
12-18 4万+
BERT出自的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder。作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
NLP中BERT模型详解
lichji2016的博客
08-14 4199
研究BERT模型，实际需要了解transformer和自注意力机制。通过论文分析理解，讲述相关BERT模型
【自然语言处理】BERT-Whitening
bqw的博客
09-05 3318
苏神论文：https://arxiv.org/pdf/2103.15316.pdf BERT-Whitening ​ BERT虽然很成功，但是通过BERT来获取句子嵌入仍然是个问题。先前的研究认为BERT获取的句嵌入向量存在各向异性的问题，导致cosine相似度无法度量句子间的语义相似性。BERT-Whiteing\text{BERT-Whiteing}BERT-Whiteing通过简单的白化操作，将嵌入向量转化为各向同性。 一、假设 ​ cosine相似度对于输入向量有什么假设？ ​ 给定两个向量x∈Rd
自然语言处理动手学Bert文本分类
05-30
Bert作为目前自然语言处理领域最流行的技术之一，文本分类作为自然语言处理领域最常见的任务之一，Pytorch作为目前最流程的深度学习框架之一，三者结合在一起将会产生什么样的花火，本套课程基于Pytorch最新1.4版本来实现利用Bert实现中文文本分类任务，延续动手学系列课程风格，全程手敲代码，跟着杨博一行一行代码撸起来。
NLP 常用模型和数据集高速下载
一颗小甜心的博客
04-29 2024
楔子 由于大部分 NLP 的模型和数据集都在国外，导致国内下载速度实在感人😭。好在有很多 NLP 的框架内置了很多数据集，都是国内链接，亲测下载速度很快，本文汇总一下一些我见到的国内链接，文末感谢这些平台提供的存储和下载服务。 正文 模型 模型 文件名称 下载链接 bert-base-cased 下载 bert-base-chinese 下载 bert-base-uncased 下载 bert-chinese-wwm-ex
使用Bert／ERNIE进行中文短文本分类(附数据集)
datayx的文章
12-11 7180
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx中文文本分类，Bert，ERNIE，基于pytorch，开箱即用。中文数据集我从TH...
HuggingFace BERT中文模型实战示例 中文分类
xd0dx的博客
04-09 1742
参考：B站蓝斯诺特 import torch from datasets import load_dataset # 定义数据集 class Dataset(torch.utils.data.Dataset): def __init__(self, split): self.dataset = load_dataset(path='seamew/ChnSentiCorp', split=split) def __len__(self): return le
【论文原文 | 中文版 】BERT：语言理解的深度双向变换器预训练
weixin_45731793的博客
08-27 1752
本文介绍一种称之为BERT的新语言表征模型，意为来自变换器的双向编码器表征量(BidirectionalEncoder Representations from Transformers)。不同于最近的语言表征模型(Peters等，2018; Radford等，2018)，BERT旨在基于所有层的左、右语境来预训练深度双向表征。
BERT中文翻译PDF版.pdf
11-28
google bert模型 中文翻译。自然语言处理模型。深度学习必读文章。端到端的机器学习模型。机器学习必读文章。
自然语言处理-基于预训练模型的方法-笔记
09-01
哈工大的那本书，很好的一本书。 html/website/markdown 格式请查阅本人博客：https://zenmoore.github.io
面向自然语言处理任务的预训练模型综述.pdf
04-21
面向自然语言处理任务的预训练模型综述.pdf
自然语言处理-基于预训练模型的方法 笔记
12-30
自然语言处理-基于预训练模型的方法 笔记
自然语言处理中的预训练模型
11-14
目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容：1）预训练模型的原理介绍，包括模型结构、学习准则、发展历程等；2）预训练模型的迁移方法：包括如何通过任务转换、多步...
pkuseg - 最全的预训练模型
06-24
art.zip ctb8.zip default v2.zip entertainment.zip mixed.zip msra.zip news.zip pkuseg-python-master.zip postag.zip science.zip THULAC tourism.zip web.zip weibo.zip
《纯干货-6》Stanford University 2017年最新《Tensorflow与深度学习实战》视频课程分享
lqfarmer的博客
06-09 2万+
分享一套Stanford University 在2017年1月份推出的一门Tensorflow与深度学习实战的一门课程。该课程讲解了最新版本的Tensorflow中各种概念、操作和使用方法，并且给出了丰富的深度学习模型实战,涉及Word2vec、AutoEncoder、RNN（LSTM，GRU）、Seq2seq with Attention 、Chatbot: Training and Opti
吴恩达-斯坦福CS229机器学习课程-2017（秋）最新课程分享
lqfarmer的博客
10-04 1万+
吴恩达主讲的机器学习-2017年秋季课程已经开课啦，今天跟大家分享这套课程。 课程介绍 本课程主要介绍机器学习和统计模式识别相关的知识。内容主要包括：监督学习（生成/判别学习，参数/非参数学习，神经网络，支持向量机）；无监督学习（聚类，维数规约，核方法）；学习理论（偏差/方差权衡；VC理论；大边缘概率）；强化学习和自适应控制。课程还将讨论机器学习在一些领域的最新应用，如机器
自然语言处理预训练模型调参方法
07-28
引用\[3\]中提到，随着ELMo、BERT等模型的发布，NLP领域进入了“大力出奇迹”的时代。采用大规模语料上进行无监督预训练的深层模型，在下游任务数据上微调一下，即可达到很好的效果。因此，调参方法可以通过以下步骤进行： 1. 选择合适的预训练模型：根据任务需求选择适合的预训练模型，如BERT、GPT等。 2. 调整模型参数：可以尝试调整模型的层数、隐藏单元数、注意力头数等超参数，以获得更好的性能。 3. 调整学习率：学习率是训练过程中一个重要的超参数，可以通过网格搜索或学习率衰减等方法来选择合适的学习率。 4. 数据增强：通过数据增强技术，如随机遮挡、词汇替换等，可以增加训练数据的多样性，提高模型的泛化能力。 5. 选择合适的优化器：不同的优化器对模型的训练效果有影响，可以尝试不同的优化器，如Adam、SGD等。 6. 提前停止训练：通过监控验证集上的性能指标，当模型在验证集上的性能不再提升时，可以提前停止训练，以避免过拟合。 总之，调参方法可以根据具体任务和数据集的特点进行灵活调整，通过不断尝试和优化，找到最佳的参数组合，以获得更好的预训练模型性能。 #### 引用[.reference_title] - *1* [新预训练模型CodeBERT出世，编程语言和自然语言都不在话下](https://blog.csdn.net/weixin_42137700/article/details/104518840)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [论文阅读笔记：《自然语言处理中的预训练模型》](https://blog.csdn.net/weixin_41089007/article/details/105397788)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lqfarmer

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值