[NLP笔记] 语言模型

最新推荐文章于 2024-05-06 21:20:30 发布
最新推荐文章于 2024-05-06 21:20:30 发布
阅读量205 收藏 1
点赞数
分类专栏： NLP笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/github_35736728/article/details/104173074
版权

语言模型

  • XLNet
  • Bert
  • 谷歌的Transformer-XL（一种基于Transformer的模型，在语言建模方面胜过BERT）
  • OpenAI的GPT-2模型（以其生成非常像人类的语言文字而闻名）GPT-2模型地址
  • CMU的XLNet
  • Facebook AI的RoBERTa和mBERT（多语言BERT）
  • 百度的ERNIE 2.0
  • HuggingFace的DistilBERT
  • 谷歌和丰田的ALBERT

参考

  1. 一文看尽2019全年AI技术突破 量子位
天南星南十字星
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NLP模型笔记2022-01:浅谈语言模型
源代码杀手的博客
05-05 275
目录1、语言模型与条件概率1-1、条件概率1-2、语言模型1-3、Markov假设与HMM模型1-4、平滑处理[解决句子0概率稀疏问题]2、HMM源码实现参考文献 1、语言模型与条件概率 1-1、条件概率 条件概率是指事件A在事件B发生的条件下发生的概率。条件概率表示为：P（A|B），读作“A在B发生的条件下发生的概率”。若只有两个事件A，B，那么， 条件概率的链式法则，也称为条件概率的乘法法则： P(a,b,c)=P(a|b,c) P(b,c) = P(a|b,c) P(b|c) P(c) 条件概率的
NLP自然语言处理学习笔记
qq_41386947的博客
11-07 533
这是一份自然语言处理学习与实践的笔记，作者刚开始是具备基础的编程能力、了解机器学习的基本概念、但是没有NLP领域的实践经历的小白。目的是理解NLP的逻辑和原理，掌握文本分类/情感分析及相关的实践能力，能运用在实际问题的解决中。
自然语言处理（NLP）学习笔记——RNN模型
qq837993702的博客
10-05 8886
了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类.
NLP笔记：n-grams语言模型
ysji's blog
10-19 916
n-gram语言模型是自然语言处理中一种简单而常用的统计语言模型。它用于估计文本中的语言概率和生成文本。n-gram模型基于一个假设：一个词的出现只依赖于前面的n-1个词。因此，n-gram模型将文本中的词序列表示为连续的n个词的序列。
自然语言处理（5）——语言模型
胖虎的博客
12-14 5983
NLP学习笔记（5）——语言模型1. 基本概念1.1 概念导入1.2 划分等价类的方法——n元文法模型（n-gram）1.3 概率计算1.4 语言模型的应用1.4.1 音字转换问题1.4.2 汉语分词问题2. 参数估计2.1 最大似然估计2.2 数据平滑2.2.1 前置知识2.2.2 数据平滑的几种方法2.2.2（1）加1法（Additive smoothing） 1. 基本概念 1.1 概念导入 大规模的语料库的出现为自然语言统计处理方法的实现提供了可能，基于大规模的语料库和统计方法，我们可以： 发现语
深度学习——语言模型（笔记）
jbkjhji的博客
01-08 826
②任意长度的序列，N元语法扫描的子序列长度是固定的。对于二元语法说，每次看长为2的子序列首先将长度为 2 的组成任何一个词 n(x1,x2)的总数存下来，n(x1)出现的概率存起来，把n存起来。①做预训练模型（BERT,GPT-3）:给定大量的文本做预训练，然后训练模型预测整个文本出现的概率，能够得到较多的训练数据来做较大的模型。n:总词数，采集的所有样本，n(x)单个x单词出现的次数，n(x,x`)是连续单词对出现的次数。tau=0,计算xt的概率时，不用考虑xt之前的数据，认为每个词是独立的。
自然语言处理笔记 第三章 隐马尔科夫模型与序列标注
qq_45738761的博客
05-06 241
之后人们提出{B,M,E,S}这种最流行的标注集：汉字分别作为词语首尾（Begin、End）、词中（Middle）以及单字成词（Single）不同的标注集可用于不同功能，如用于词性标注的POSTagSet、用于命名实体识别的NERTagSet等。语料转换：将语料转换为(𝒙,𝒚)二元组才能训练隐马尔可夫模型，因此需要将一个句子转换为二元组。因为状态有N个可能的取值，所以矩阵为N*N。二阶隐马尔科夫模型：如果隐马尔可夫模型中每个状态依赖于前。序列外界不可见，称为状态序列（隐状态）。和观测序列x，求最大概率y。
nlp大模型课程笔记
yusude123456的博客
08-26 935
👆说明之前的大模型其实有很多都是基于迁移学习的方法。attention机制的总结，解决了信息瓶颈的问题。👆技巧是layer normalization。👆pos表示的是token所在的位置。处理词组时BPE的过程。
语言模型笔记
qq_29787929的博客
12-29 135
语言模型笔记 语言模型 描述自然语言概率分布的模型，可以计算一个词序列或一句话的概率，也可以在给定上下文的条件下对接下来可能出现的词进行概率分布的估计。 马尔科夫假设 下一个元素出现的概率只依赖于它前面n-1个元素 N元语言模型 当N很大时，计算概率的依赖很长，在文本数据中很少出现或没有，可能会出现零概率的情况。使用平滑（损有余而补不足），加1平滑，加δ\deltaδ 平滑（0≤δ≤10\leq\delta\leq10≤δ≤1） ...
【NLP笔记】大模型微调方法概述
weixin_36488653的博客
04-11 859
大模型微调理论概述
自然语言处理-基于预训练模型的方法 笔记
12-30
自然语言处理-基于预训练模型的方法 笔记
自然语言处理-基于预训练模型的方法-笔记
09-01
哈工大的那本书，很好的一本书。 html/website/markdown 格式请查阅本人博客：https://zenmoore.github.io
Rasa+自然语言处理+官方教学+学习笔记+对话管理+模型训练
05-23
【适用人群】: 适合自然语言处理(NLP)爱好者、对话系统开发者、AI产品经理、机器学习工程师、想构建聊天机器人的初学者及有一定经验的开发者。 【使用场景】: 适用于在线自学、企业内部培训、高校课程辅助材料、...
扩散模型+CV与NLP科研笔记
09-19
扩散模型+CV与NLP科研笔记
Python LoRA 大模型轻量级微调笔记.md
08-17
本文首先介绍了LoRA大模型轻量级微调的思想,然后给出了使用Python中的transformers库实现文本分类、语义理解等自然语言处理任务的示例代码,最后讨论了LoRA大模型轻量级微调在NLP领域的典型应用,如文本分类、语义理解...
pyzmq-23.0.0-cp37-cp37m-musllinux_1_1_x86_64.whl
最新发布
06-07
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
腾讯全端Bootstrap响应式布局
06-07
使用媒体查询和Bootstrap框架，模仿腾讯全端响应式网页布局。
前端开发框架介绍及bootstrap项目资源
06-07
前端开发框架介绍及bootstrap项目实现网页轮播图效果
企业级网络设计与配置实战案例
06-07
教程：计算机网络基础 标题： 计算机网络基础入门教程 简介： 本教程旨在为初学者提供计算机网络的全面基础知识，包括网络拓扑、协议栈、OSI模型、IP地址、子网划分、路由器和交换机的基本概念和操作等。通过理论和实践相结合的方式，让学习者能够掌握网络的基本构成和功能。 案例：企业级网络配置案例分析 标题： 企业级网络设计与配置实战案例 简介： 本案例详细介绍了一个中型企业网络升级项目的全过程，包括需求分析、网络设计、设备选型、配置实施及测试验证。重点讲解了VLAN划分、路由协议配置、安全策略实施等关键技术的应用，旨在通过实际项目案例，帮助学习者了解企业网络建设的常见需求和解决方案。
自然语言处理5000学习笔记
05-13
3. 自然语言处理中常用的算法包括朴素贝叶斯、支持向量机、隐马尔可夫模型、条件随机场、深度学习等。学习这些算法需要一定的数学和统计基础。 4. 自然语言处理中的数据处理非常重要，包括文本清洗、分词、词向量...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值