NLP学习笔记3（Bert）

预训练与微调：BERT技术深度解析
最新推荐文章于 2025-11-25 11:25:43 发布
原创 最新推荐文章于 2025-11-25 11:25:43 发布 · 845 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #学习 #bert

本文探讨了李宏毅的理论讲解与李沐的论文解读，提供BERT模型的实践指导，包括预训练方法与在具体任务中的微调策略。
qq_41560285
关注
『NLP学习笔记』BERT技术详细介绍
AI新视界
09-28 2514
Bert模型是Google在2018年10月发布的语言表示模型，Bert在NLP领域横扫了11项任务的最优结果，可以说是现今最近NLP中最重要的突破。Bert模型的全称是Bidirectional Encoder Representations from Transformers，是通过训练Masked Language Model和预测下一句任务得到的模型。
『NLP学习笔记』BERT文本分类实战
AI新视界
12-20 2464
Bert模型是Google在2018年10月发布的语言表示模型，Bert在NLP领域横扫了11项任务的最优结果，可以说是现今最近NLP中最重要的突破。Bert模型的全称是Bidirectional Encoder Representations from Transformers，是通过训练Masked Language Model和预测下一句任务得到的模型。
NLP自然语言处理学习笔记
wangqiaowq的博客
12-07 2574
目前存在的问题有两个方面：一方面，迄今为止的语法都限于分析一个孤立的句子，上下文关系和谈话环境对本句的约束和影响还缺乏系统的研究，因此分析歧义、词语省略、代词所指、同一句话在不同场合或由不同的人说出来所具有的不同含义等问题，尚无明确规律可循，需要加强语用学的研究才能逐步解决。自动问答是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务，在回答用户问题时，首先要正确理解用户所提出的问题，抽取其中关键的信息，在已有的语料库或者知识库中进行检索、匹配，将获取的答案反馈给用户。
【NLP自然语言处理学习笔记07 Bert理论+莫烦pytorch代码理解】
CrazyDog_JJ的博客
07-18 538
BERT的主要特点是双向编码（bidirectional encoding。BERT则采用了Masked Language Model（MLM）和Next Sentence Prediction（NSP）两种预训练任务，使得模型能够同时利用左侧和右侧的上下文信息进行预测；
NLP学习笔记——BERT的一些应用（简记）
qq_51485453的博客
08-24 1731
  本文内容中：挑出pytorch 版的 BERT 相关代码，从代码结构、具体实现与原理，以及使用的角度进行分析 Transformers版本：4.4.2（2021 年 3 月 19 日发布） 1. 本节接着上节内容，本节具体内容：  a） BERT-based Models应用模型  b） Bert解决NLP任务    - BertForSequenceClassification    - BertForMultiChoice    - BertForTokenClassification    - B
玩转大模型之学习笔记 | BERT，自然语言处理的魔法钥匙
Kenji_Shinji的博客
05-23 906
正在进行的第二期课程（第1讲-第17讲）在第一期的基础上做了全方位的升级，围绕大模型从开发到应用的全流程实践展开，讲解更前沿的大模型知识、丰富更多元的讲师阵容。一般来说，更大的模型和更多的预训练数据可以提供更好的性能，但也需要更多的计算资源和时间来进行训练和推理。通过学习这些带有标签的数据，模型可以学习到输入数据和输出结果之间的映射关系，进而能够对新的、未标记的数据进行分类或预测。BERT会针对每一个位置输出大小为hidden size的向量，在下游任务中，会根据任务内容的不同，选取不同的向量放入输出层。
NLP和Bert学习笔记
qq_25819477的博客
03-09 432
上图表示转换器是如何将初始的文字进行提取特征的：q就相当于扫码器，k就是一个二维码，每一个a[i]的q[i]要去跟其他的所有k[i]相乘，最后再与每个v[i]相乘，最后相加得到b也就是处理后的文字向量。以上就是自注意力机制的计算过程，但是还有个问题，文字在不同位置出现的时候也是会不同意思的，即使所有字都一样，所以要进行改进，计算之前也要将位置信息考虑进去。位置信息要配合文字的独热编码性质，变成跟文字向量一样维度的向量，位置也是独热编码表示，相加之后变成带有位置信息的文字向量，再传入转换器中。
『NLP学习笔记』BERT命名实体识别(NER)实战
AI新视界
12-20 3926
命名实体识别(Named EntitiesRecognition，NER)，就是识别这些实体指称的边界和类别。主要关注人名、地名和组织机构名这三类专有名词的识别方法。
Bert论文学习笔记
Lys6142021的博客
06-15 1532
学习BERT论文时的笔记
基于Tensorflow和PyTorch的NLP学习笔记：Transformer、BERT、ALBERT模型源码详解与任务部署
10-09
在自然语言处理（NLP）领域，深度学习已经成为了推动技术进步的关键因素。随着算法的不断演进，一些模型如Transformer、BERT、ALBERT等因其在语言理解方面的卓越表现，受到了广泛的关注和应用。本项目以Tensorflow和...
自然语言处理学习笔记：机器学习与深度学习原理及示例，基于 Tensorflow 和 PyTorch 框架，Transformer、BERT、ALBERT 等最新预训练模型及源代码详解，以及基于预训练模
08-12
本笔记将详细介绍机器学习和深度学习在自然语言处理中的应用原理，并结合Tensorflow和PyTorch这两个主流的深度学习框架，对最新的预训练模型如Transformer、BERT、ALBERT等进行详细解读，同时提供相关的源代码示例。...
基于NLP语义解析的联储政策信号：强化学习框架下的12月降息概率回升动态建模
11-24 900
本文通过NLP模型对美联储官员演讲稿进行语义情感分析，结合强化学习算法构建政策决策模拟器，动态量化降息空间与劳动力市场、通胀风险的关联强度，分析多智能体博弈框架下12月议息会议的决策路径依赖性。
PaLM：Pathways 驱动的大规模语言模型 scaling 实践
m0_65010824的博客
11-24 748
本文是对论文《PaLM: Scaling Language Modeling with Pathways》的深度解读。在大模型研究领域，如何实现高效规模化训练并解锁复杂任务能力，是核心挑战。Google Research 团队提出的 PaLM 模型，以 5400 亿参数稠密 Transformer 为基础，借助 Pathways 系统实现跨 TPU Pod 高效训练，在少样本推理、代码生成等任务中刷新 SOTA，为大模型规模化研究提供关键参考。
InstructBLIP：面向通用视觉语言模型的指令微调技术解析
m0_65010824的博客
11-24 784
本文是对论文《InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning》的深度解读。在多模态领域，如何构建具备通用指令遵循能力的视觉语言模型，是亟待解决的关键挑战。Salesforce Research 等团队提出 InstructBLIP 框架，通过指令感知 Q-Former 与平衡数据集采样策略，实现了多样化视觉语言任务的高效泛化，显著提升零样本与下游微调性能，为通用多模态模型研发提供范式。
基于 Bert 基本模型进行 Fine-tuned
最新发布
2401_84080967的博客
11-25 265
实验任务 微调 Bert 基础模型让其实现情感二分类，使用的数据集为 sst-2，其数据结构如下所示。 训练数据 67349 条，验证数据 872 条，测试数据 1821 条。SST-2 是自然语言处理（NLP）领域最经典的情感分类数据集之一，每个样本是单个句子（而非完整段落），标签为 0（负面）/1（正面），该数据集用于评估模型的句子级情感分类能力，是 NLP 领域的 “基准数据集” 之一 —— 几乎所有预训练模型（如 BERT、RoBERTa）都会在 SST-2 上做微调测试，以展示其文本理解性能。
论文浅尝 | 利用条件语句激发和提升大语言模型的因果推理能力（CL2025）
开放知识图谱
11-24 320
这些发现表明，代码，特别是代码中的条件语句，通过提示和微调在引发和提高语言模型的因果推理能力方面可以发挥重要作用。证明，在执行复杂因果推理任务时，代码语言模型优于相同结构的通用语言模型。的训练数据观察到最大的性能提升，这表明仅用少量（少于一千条）条件语句代码，模型的因果推理能力就能大幅提高。代码语言模型在大多数设置下仍然优于相应的通用语言模型，并且对于大多数模型来说，代码提示优于文本提示。代码大语言模型比通用大语言模型更擅长因果推理，并且对于大多数模型来说，代码提示比文本提示更有效。
国内主流大语言模型之比较
人机与认知实验室
11-25 643
的系统性对比分析，涵盖其核心技术特点、性能表现、应用场景、生态布局及战略定位等方面的异同。阿里千问胜在生态与开源，蚂蚁灵光赢在场景与行动力，百度文心强在中文内容，智谱清言优在知识严谨，DeepSeek专精于代码与垂直领域。智谱强调“可解释性”，幻觉较少。将深化“AI Agent”战略，从“聊天助手”转向“行动代理”，成为支付宝的智能入口。若能在MoE（混合专家）架构和垂直领域（如金融、法律）持续深耕，或成“小而美”的标杆。需解决幻觉问题，并在多模态（如视频生成）上突破，以应对字节、腾讯的竞争。
Tree of Thoughts：让大语言模型像人类一样思考
qq_44193969的博客
11-22 1001
摘要：Tree of Thoughts (ToT)是一种新型的大语言模型推理框架，通过构建解决方案树实现多步推理。论文以Game24游戏为例，展示了ToT如何通过生成-评估-选择的三步循环进行智能搜索：首先生成多个候选操作（如1+1=2），然后评估每个候选的前景（sure/likely/impossible），最后选择最优路径继续探索。相比传统方法，ToT能同时考虑多种可能性，支持回溯修正，显著提升复杂问题的解决能力。实验代码已开源，为理解大模型推理机制提供了新视角。
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 104
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
深度学习在自然语言处理中的应用笔记
以上内容总结了标题和描述中提到的深度学习NLP笔记的主要知识点，内容涵盖了自然语言处理的基础知识、深度学习技术细节、应用实例以及未来的发展趋势。希望能够帮助对深度学习NLP感兴趣的读者系统地了解和学习该领域...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值