bert和他的家人

最新推荐文章于 2024-09-16 21:55:15 发布
最新推荐文章于 2024-09-16 21:55:15 发布
阅读量86 收藏
点赞数
分类专栏： 自然语言处理 文章标签： bert 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tingsie/article/details/108267913
版权

albert
轻量级bert，参数量减少，跨层的参数共享，每一个Trm共享参数; bert中每一个Trm的参数是不共享的

中文分词多用结巴分词

bert-wwm （中文）可以对所有的词语进行mask
erine (中文) 只能 mask实体

feature-based ：预训练获得的模型参数在下游任务中不会进行调整
fine-tuning : 预训练获得的模型参数在下游任务中进行微调

Tingsie
关注
专栏目录
[Python人工智能] 四十二.命名实体识别 (3)基于Bert+BiLSTM-CRF的中文实体识别万字详解（异常解决中）
杨秀璋的专栏
03-05 895
从本专栏开始，作者正式研究Python深度学习、神经网络及人工智能相关知识。前文讲解如何实现中文命名实体识别研究，构建BiGRU-CRF模型实现。这篇文章将继续以中文语料为主，介绍融合Bert的实体识别研究，使用bert4keras和kears包来构建Bert+BiLSTM-CRF模型。然而，该代码最终结果有些问题，目前还在解决中，但现阶段方法先作为在线笔记分享出来。基础性文章，希望对您有帮助，如果存在错误或不足之处，还请海涵。且看且珍惜！
BERT和ERNIE谁更强？这里有一份4大场景的细致评测
kasdfu的博客
01-02 493
BERT和ERNIE，NLP领域近来最受关注的2大模型究竟怎么样？ 刚刚有人实测比拼了一下，结果在中文语言环境下，结果令人意外又惊喜。 具体详情究竟如何？不妨一起围观下这篇技术评测。 1. 写在前面 随着2018年ELMo、BERT等模型的发布，NLP领域终于进入了“大力出奇迹”的时代。采用大规模语料上进行无监督预训练的深层模型，在下游任务数据上微调一下，即可达到很好的效果。曾经需要反复调...
BERT的几个可能的应用
山阴少年
06-07 4961
  BERT是谷歌公司于2018年11月发布的一款新模型，它一种预训练语言表示的方法，在大量文本语料（维基百科）上训练了一个通用的“语言理解”模型，然后用这个模型去执行想做的NLP任务。一经公布，它便引爆了整个NLP界，其在11个主流NLP任务中都取得优异的结果，因此成为NLP领域最吸引人的一个模型。简单来说，BERT就是在训练了大量的文本语料（无监督）之后，能够在对英语中的单词（或中文的汉字）给...
BERT模型开发
无骨鱼虎的博客
04-23 136
BERT是比较前沿的计算机大模型，开发出来是为了处理自然语言的，现在也运用到了其他的领域中去。关于怎找到代码，如何配置环境，如何在GPU服务器跑代码，外网文献的翻阅等等。我也有几百个粉丝了，虽然我知道大家都是看我文章然后发现作者的心机，不情不愿点的关注，所以我能带货赚钱了吗，家人们。有人问我就把你挂到这里，让你倒倒丑，懂的活着。
bert 中文 代码 谷歌_从字到词，大词典中文BERT模型的探索之旅
weixin_40003233的博客
12-03 380
导语： BERT模型自诞生以来统治了各项NLP任务的榜单，谷歌也针对中文给出了基于字的模型。然而我们知道词是语言最重要的组成部分，因此，一个自然的想法就是做基于词的BERT模型。但是受限于显存，谷歌原生的BERT模型可以使用的词典比较小，只能覆盖一小部分的汉语的词。在本文中，我们提出了对BERT的一些改进，将中文BERT词模型的词典大小进行了大幅扩充，并在多个下游任务上测试了大词典BER...
从字到词，大词典中文BERT模型的探索之旅
腾讯技术工程
06-20 1322
导语： BERT模型自诞生以来统治了各项NLP任务的榜单，谷歌也针对中文给出了基于字的模型。然而我们知道词是语言最重要的组成部分，因此，一个自然的想法就是做基于词的BER...
大模型微调 - 基于预训练大语言模型的对话生成任务 训练代码
flyfish
09-12 437
flyfish
最新消息，OpenAI o 1 一种新的大型语言模型正在被引入
【CSDN】
09-13 1000
据最新消息。我们正在引入OpenAI o 1，这是一种新的大型语言模型，经过强化学习训练，可以执行复杂的推理。O 1在回答之前思考--它可以在对用户做出响应之前产生一个很长的内部思考链。OpenAI o 1在竞争性编程问题（Codeforces）中排名第89百分位，在美国数学奥林匹克（AIME）资格赛中跻身美国前500名学生之列，并在物理，生物和化学问题（GPQA）的基准测试中超过人类博士水平的准确性。
论文翻译：USENIX-2021 Extracting Training Data from Large Language Models
CSPhD-winston的博客
09-12 1110
现在，发布在私有数据集上训练的大型（数十亿参数）语言模型已经变得很常见。本文展示了在这种设置中，攻击者可以通过查询语言模型来恢复个别训练样本，从而执行训练数据提取攻击。我们在GPT-2上展示了我们的攻击，GPT-2是一个在公共互联网抓取的数据上训练的语言模型，我们能够从模型的训练数据中提取数百个逐字文本序列。这些提取的示例包括（公共）个人身份信息（姓名、电话号码和电子邮件地址）、IRC对话、代码和128位UUID。即使在训练数据中每个上述序列只包含在一个文档中，我们的攻击也是可能的。
使用大语言模型（LLM）修正小段乱码（Mojibake）为正常文本
赖勇浩的编程私伙局
09-16 241
在上一篇文章ftfy：修正小段乱码（Mojibake）为正常文本的Python库中，我介绍了这个库。但随着持续的开发，我发现它仍然有一些解决不了的转换。如下： 可以看到后面的结果并没有转换成功，而且 也返回 ，非常爽快地承认了这一点。而当使用 chatGPT 来解决时，简单的提示语足以解决问题： 输出： 这就很妥贴。接下来只要优化一下提示词，让 LLM 返回 JSON 对象，就可以很方便地进行下一步处理了。
【AI小项目5】使用 KerasNLP 对 Gemma 模型进行 LoRA 微调
最新发布
虾米记的博客
09-16 873
本项目使用 KerasNLP 对 Gemma 模型进行 LoRA 微调，为了快速验证微调的效果，仅在数据集的一个小子集上进行了一个周期的微调，并使用了较低的 LoRA 秩值。取得了显著的改进效果。
Mini-Omni 语言模型在流式传输中边思考边听说应用
weixin_42380711的博客
09-13 986
Mini-Omni 是一个开源的多模态大语言模型，能够在思考的同时进行听觉和语言交流。它具有实时端到端语音输入和流媒体音频输出的对话能力。语言模型的最新进展取得了显著突破。GPT-4o 作为一个新的里程碑，实现了与人类的实时对话，展示了接近人类的自然流畅度。为了实现这种人机交互，模型需要直接通过音频模态进行推理，并在流式传输中生成输出。然而，目前的学术模型通常依赖额外的文本转语音（TTS）系统进行语音合成，从而引入了不必要的延迟。
3.大语言模型LLM的公开资源（API、语料库、算法库）
qq_38958704的博客
09-13 1163
考虑到技术问题的挑战和计算资源的巨大需求，开发或再现大语言模型绝非易事。一种可行的方法是在现有的大语言模型的基础上进行开发，即重复使用公开可用的资源进行增量开发或实验研究。下面简要整理了用于开发大语言模型的公开可用的资源，包括公开的模型检查点（或API）、语料库和算法库。
一文读懂：如何将广告融入大型语言模型(LLM)输出
qianggezhishen的专栏
09-12 1083
本文是我翻译过来的，讨论了在线广告行业的现状以及如何将大型语言模型（LLM）应用于在线广告。原文请参见”阅读原文“。 在2024年，预计全球媒体广告支出的69%将流向数字广告市场。这个数字预计到2029年将增长到79%。在Meta的2024年第二季度财报中，98%的销售额来自广告。随着公司将资金从传统媒体渠道（如印刷和电视）转移到增加数字广告支出，在线广告领域继续其主导地位。最近，有一些研究计划探索在在线广告中使用大型语言模型。本文将温和地介绍这一趋势，并突出一些相关的提议。 推动在线广告行业
小琳AI课堂：MASS模型——革新自然语言处理的预训练技术
wx740851326的博客
09-12 1246
MASS模型在文本摘要任务上也取得了良好的表现。通过在大规模文本数据上进行预训练，MASS模型能够学习到文本的重要信息和摘要的生成策略，从而提高摘要质量。MASS模型作为一种先进的语言生成模型，在自然语言处理领域具有重要的意义。通过大规模文本数据的预训练，MASS模型能够学习到丰富的语言表示，从而在多种语言生成任务上取得优异的性能。未来，随着深度学习技术的不断发展，MASS模型可能会在模型架构、预训练与微调策略、多模态处理等方面取得新的突破，为自然语言处理领域的发展带来新的机遇和挑战。
【四范式】浅谈NLP发展的四个范式
程序星空实验室
09-13 357
NLP发展到今天已经进入到了LLM（大语言模型）的时代，学术界按发展时间线将NLP归纳到四个范式，即NLP四范式。
2024最新版，人大赵鑫老师《大语言模型》新书pdf分享
kaka0722ww的博客
09-13 460
由于大语言模型技术的快速更迭，本书无法覆盖所有相关内容，旨在梳理最具代表性的基础知识内容，帮助读者更好地了解大语言模型技术的核心知识点，能够快速上手相关的科研与工程项目。• 背景与基础知识部分. 第 2 章将首先介绍大语言模型的构建过程，随后介绍大语言模型相关的背景知识以及重要概念，包括涌现能力、扩展定律以及二者之间的联系与区别；• 评测与应用部分. 第 12 章将主要介绍面向大语言模型性能的评测方法，针对不同的能力维度介绍相关的评测集合、评测指标以及评测方法，并且指出大语言模型目前存在的问题。
动态近距离放射治疗超声图像分析：针与颗粒的自动检测
这篇论文的完成得益于众多合作者的支持，包括FOCUS项目的伙伴，以及实验室的同事和家人。 这篇论文的工作不仅涉及了图像处理和模式识别的技术挑战，还涵盖了如何将这些技术应用于临床实践，以提高放射治疗的精度和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值