从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（1）

最新推荐文章于 2024-03-20 09:34:41 发布
最新推荐文章于 2024-03-20 09:34:41 发布
阅读量467 收藏 1
点赞数
文章标签： 自然语言处理 bert 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49518391/article/details/126724688
版权
本文是自然语言处理（NLP）基础分享系列的一部分，旨在通过实际案例教授NLP基础知识。作者以识别假新闻为应用场景，使用Kaggle的WSDM - Fake News Classification数据集，探讨NLP在文本比较和分类中的应用。文章介绍了数据集结构，并说明将忽略英文翻译列，仅使用中文标题进行模型训练。
摘要由CSDN通过智能技术生成

起源及致谢原作

因为编写内部培训材料的需要，近期又重读了之前收藏的一篇博客《进入NLP 世界的最佳桥梁：写给所有人的自然语言处理与深度学习入门指南》
https://leemeng.tw/shortest-path-to-the-nlp-world-a-gentle-guide-of-natural-language-processing-and-deep-learning-for-everyone.html ，作者是东京工作的台湾数据科学家李孟，仍然颇感获益。
由于这毕竟只是一篇博客，对其中涉及的方法实现过程写得比较简略，加之作者是台湾人的缘故，语言上也有点别扭。
因此决定以该博客为蓝本，内容加以丰富和完善，写一个自然语言处理（NLP）基础知识分享系列。目的其一作为自己的知识沉淀，其二供感兴趣的初学者学习和python实践。

依据维基百科，NLP 的定义为：自然语言处理（NLP）是计算机科学以及人工智能的子领域，专注在如何让计算机处理并分析大量（人类的）自然语言数据。NLP 常见的挑战有语音辨识、自然语言理解、机器翻译以及自然语言的生成。
我们将围绕识别网络世界里的假新闻这个挑战场景，学习如何利用NLP知识进行工作，将使用来自Kaggle的公开数据集WSDM - Fake News Classification，

最低0.47元/天 解锁文章
moronism189
关注
Chinese-BERT-wwm：汉语BERT的全字掩蔽预训练（EnglishBERT-wwm系列模型）
02-03
| 在自然语言处理领域中，预训练语言模型（预训练语言模型）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及更多技术相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL3。 崔一鸣，车万祥，刘婷，秦兵，杨自清，王世进，胡国平 本项目基于谷歌官方BERT： : 其他相关资源： MacBERT预训练模型： : 中文ELECTRA预训练模型： : 中文XLNet预训练模型： : 知识蒸馏工具TextBrewer： : 查看更多哈工大讯飞联合实验室（HFL）发布的资源： : 新闻 2021年1月27日所有模型已支持TensorFlow 2，请通过变压器库进行调用或下载。 2020/9/15我们的论文被录用为长文。 2020/8/27哈工大讯飞联合实验室在通用自然语言理解评论GLUE中荣登榜首，查看，。 2020/3/23本目录发布的模型已接收 ，查看 2020/3/11
chinese-bert-wwm-ext
rehe_nofish的博客
05-31 3114
from transformers import BertTokenizer, BertModel import torch tokenizer = BertTokenizer.from_pretrained("hfl/chinese-bert-wwm-ext") model = BertModel.from_pretrained("hfl/chinese-bert-wwm-ext") batch_sentence = [ "这是第一句话", "这是第二句话", "第三句，有点长
探秘Chinese-BERT-wwm: 深度学习中的中文语义理解利器
最新发布
gitblog_00006的博客
03-20 1028
探秘Chinese-BERT-wwm: 深度学习中的中文语义理解利器 Chinese-BERT-wwmPre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-BERT-wwm 项目简介 Chinese-BERT-wwm 是...
哈工大：Chinese-BERT-wwm
u013250861的博客
09-26 2290
在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词掩码（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及与此技术密切相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large, RBT3, RBTL3等。
从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（12）
weixin_49518391的博客
09-22 2835
今天是本系列的最后一期，完整代码呈现Huggingface transformers平台上微调BERT-wwm-ext的过程方法。
从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（7）
weixin_49518391的博客
09-09 644
向量空间模型（例如TF-IDF），又被形象地称为『词袋』模型，就像是把文档里的词汇，放入到以词典作为标签的袋子里。 我们可以看到，基于词袋模型的文档表示方法，虽然考虑了词的重要程度，但它只是根据词的统计特性表示一个文档，而没有考虑到词在文中的次序。这样就有了一个新的思路：将文档表示成词编码的一个序列，这样词在文档上下文关系信息就能够保留下来。 在李孟博士的原博客里，后续演示使用的是TensorFlow.Keras相关包，我们改为全部使用Pytorch演示相关功能的实现。
从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（10）
weixin_49518391的博客
09-20 393
本期呈现训练孪生LSTM深度学习网络的完整代码。包括：输入数据预处理的一些变化；通过子类化pytorch的nn.Module 定义我们的神经网络；定义训练函数和验证函数；涉及到的损失、梯度和优化器相关说明；以及模型训练和验证过程。
从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（4）
weixin_49518391的博客
09-07 350
用TF-IDF模型建立的文档向量度量新闻标题A和B的距离，‘unrelated’,‘agreed’,'disagreed’三类关系的新闻标题对之间的余弦相似度取值分布分析，以及对于我们的任务目标（辨别新闻标题A和B的关系）的提升作用。
从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（3）
weixin_49518391的博客
09-07 675
要让电脑或是任何NLP 模型理解一篇新闻标题在说什么，我们要转换成它熟悉的形式：数字。在中文的语言特征里，文档的基本单位主要由词构成。中文文档的数字表示时，通常需要先做分词以及词的编码。借助 Jieba 这个中文分词工具，可以轻松实现中文的分词。 完成分词之后，就可以进行文档的数字化表示。 可用的方法有很多，我们首先从常用的 TF-IDF文档向量表示方法入手。TF-IDF是一种向量空间模型（VSM：Vector Space Model）。
【深度学习】BERT变体—BERT-wwm
Dong_ZH的博客
03-06 8279
BERT-WWM对Bert的改进主要体现在mask的方式上，使用全词mask。其改进点如下：BERT-WWM不仅仅是连续mask实体词和短语，而是连续mask所有能组成中文词语的字。具体做法是，针对中文，如果一个完整的词的部分字被mask，则同属该词的其他部分也会被mask，即对组成同一个词的汉字全部进行Mask，即为全词Mask。这样做的目的是：预训练过程中，模型能够学习到词的语义信息，训练完成后字的embedding就具有了词的语义信息了，这对各类中文NLP任务都是友好的。
杰哥不要-BERT-WMM-全词遮罩填充
GioDio的博客
06-21 1040
杰哥不要-BERT-WMM-全词遮罩填充完整代码前言参考数据收集数据清洗特征工程建模及预测保存文本结论 完整代码 杰哥不要_BERT_WMM_遮罩填充.ipynb 前言 最近在B站杰哥区看了几百集平行宇宙剧本，也看过114514次翻译和AI续写的版本。忽然，萌生了一个想法：如果把200多句对白部分的字词遮罩，让AI去填写会有什么效果呢?。我很好奇，因此本代码主要以全词遮罩的中文预训练模型BERT-wwm去探索"杰哥不要"的可能性。 参考 HuggingFace Transformer API 中文BERT-
【BERT类预训练模型整理】
Wwwwwww527的博客
05-16 4560
BERT类预训练模型整理一、BERT的相关内容BERT的预训练技术1.掩码机制2.NSP（ Next Sentence Prediction）BERT模型的局限性二、RoBERT的相关内容三、SpanBERTa的相关内容四、ALBERT的相关内容五、MacBERT的相关内容 在本帖中，小阿奇将从中文预训练模型的角度去回顾最近自然语言处理领域中代表性的预训练语言模型的技术，自己也进行一个详细的整理 一、BERT的相关内容 BERT(来自transformer的双向编码器表示)(Devlin等人，2019年)在
基于bert_wmm的新闻文本分类THUCNews数据集 完整代码数据 可直接运行 毕业设计 详细教程
07-01 749
基于bert_wmm的新闻文本分类THUCNews数据集 完整代码数据 可直接运行 毕业设计 详细教程
BERT生成句向量
平平淡淡，戒急用忍，一生学闭嘴。
10-27 1085
在阅读本文之前如果您对BERT并不了解，请参阅我的其他博文BERT完全指南 简介 之前的文章介绍了BERT的原理、并用BERT做了文本分类与相似度计算，本文将会教大家用BERT来生成句向量，核心逻辑代码参考了hanxiao大神的bert-as-service，我的代码地址如下： 代码地址：BERT句向量 传统的句向量 对于传统的句向量生成方式，更多的是采用word embedding的方式取加权平均，该方法有一个最大的弊端，那就是无法理解上下文的语义，同一个词在不同的语境意思可能不一样，但是却会被
查漏补缺之（二）—— 后BERT时代-XLNET、RoBERTa、ALBERT、ELECTRA
竹杖芒鞋轻胜马
04-06 602
后BERT时代-XLNET、RoBERTa、ALBERT、ELECTRA的模型概览
从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（2）
weixin_49518391的博客
09-06 389
从jieba分词到BERT-wwm，一步步带你进入中文NLP的世界。本期将通过对业务场景数据分析，给出一个简单容易理解的“基线模型”，以便后续各种升级方法的对比参照。
最简单的BERT模型调用方法
zenRRan的博客
12-23 2478
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要6分钟跟随小博主，每天进步一丢丢来自：AINLP作者：段清华（金证优智技术总监）原文链接：https://zhuanlan.zhih...
RoBERTa、ERNIE2、BERT-wwm-ext和SpanBERT
热门推荐
小岁月太着急
08-11 1万+
对于NLP来说，上个月（7月）是一个摩肩接踵的时刻，几大预训练模型轮番PK，群雄逐鹿中原。从7月26号的RoBERTa到7月29号的ERNIE2，再到7月30号的BERT-wwm-ext，再到7月31号的SpanBERT，其中RoBERTa引起大家的热论。 先上一张有意思的图：（来至知乎作者Andy Yang） RoBERTa 从模型上来说，RoBERTa基本没有什么太大创新，主要是...
自然语言处理详解：从结巴分词到NLP应用
在自然语言处理（NLP）领域，结巴分词是一个重要的预处理步骤，它主要用于将连续的汉字序列切分成有意义的词汇单元，这对于理解和分析中文文本至关重要。在Python中，有许多库可以实现这个功能，如jieba分词库，它因...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值