NLP预备知识

最新推荐文章于 2024-05-31 13:51:08 发布
最新推荐文章于 2024-05-31 13:51:08 发布
阅读量107 收藏
点赞数
分类专栏： nlp 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39693517/article/details/111415747
版权

NLP预备知识

1.语言学基础

2.机器学习/深度学习算法

pytorch

3.语言模型

  1. 计算概率

    各单词为随机变量，计算全概率，转换为计算条件概率，转换为2(N)阶马尔可夫（只与该单词前两个单词有关）N越大频次越小区别力越大，N越小频次越大参数估计的可靠性越高

  2. 模型评估

    度量：混乱度Perplexity

  3. 模型训练

    词向量

4.序列标注Tagging

  1. 标注

    词性（开放类，封闭类）–POS标注

    问题：POS歧义，可能出现频次低但不能忽视

    命名实体识别

    难点：未登录词

5.句法分析Parsing

  1. 机器翻译，词序不同，树，旋转
lucas_ch
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
ForestsKing#NLP-Study#SNLP02：预备知识1
07-25
1.1 概率 1.2 最大似然估计 1.3 条件概率 1.4 贝叶斯法则 1.5 随机变量 1.6 二项式分布 1.7 联合概率分布和条件概率分布 1.8 贝叶
自然语言处理_实验任务书（2021年暂定版）1
08-08
1.2 预备知识中文分词指将汉字序列切分成单个词语的过程 1.2.1 基于词典匹配的分词算法基于词典匹配的分词算法依赖人工建立的词库（词典）进行，包括正向最大匹
自然语言处理(NLP)预备知识
ZhangXiang
04-17 378
# 语言模型，Language model http://www.statmt.org/book/slides/07-language-models.pdf #自然语言处理中N-Gram模型的Smoothing算法（对于上面语言模型中平滑算法的一个介绍） https://blog.csdn.net/baimafujinji/article/details/51297802 # 搜狗新闻语...
NLP-transformer-预备知识（self-Attention）
xu624735206的博客
04-13 535
NLP-transformer-预备知识（self-Attention）一、自注意力机制在 transformer 中的应用二、self-Attention 引出三、self-Attention 单步计算过程四、self-Attention 向量计算过程五、多头自注意力机制 计算过程六、self-Attention 需要配合位置信息 一、自注意力机制在 transformer 中的应用 下图是Transformer 的内部结构图，左侧为 Encoder block，右侧为 Decoder block。红色
基于python的nlp预备知识
Heart_Sea的博客
10-15 306
基于python的nlp预备知识载入语料库brown 语料库的导入分词nltk的word_tokenizeStem抽取题干和Lemma 词形还原NLTK实现Stemming三种方式NLTK实现Lemma 词形还原停止词关键词打分情感分析文本相似度用Frequency 频率统计计算文本相似度TF-IDF 载入语料库 import nltk nltk.download('stopwords') nlt...
NLP02（自然语言处理）第二章 预备知识——数学基础
种花家的奋斗兔的博客
03-18 794
第二章 数学基础 2.1 概率论基础 基本概念 概率(probability) 最大似然估计(maximum likelihood estimation) 条件概率(conditional probability) 全概率公式(full probability) 贝叶斯决策理论(Bayesian decision theory) 贝叶斯法则(Bayes’theorem) 二项式分...
2. 自然语言处理预备知识
weixin_30580341的博客
02-26 91
自然语言处理的预备知识 熟练掌握Python 微积分，线性代数 （MATH 51, CME 100） 基本的概率论和统计（CS109） 机器学习基础（CS229） 自然语言处理参考书 Dan Jurafsky and James H. Martin.Speech and Language Processing (3rd ed. draft)[link] Yoav G...
nlp入门1——nlp预备知识
qishanbaby的博客
09-22 39
one-hot 表示 看不出关联性——解决方法：稠密编码（词向量）
统计自然语言处理基础
04-09
1．3 语言中的歧义问题是自然语言难以处理的原因 1．4 第一手资料 1．5 深入阅读 1．6 习题 第2章 数学基础 2．1 概率论基础 2．2 信息论基础 2．3 深入阅读 2．4 习题 第3章 语言学基础 3．1 词性和词法 ...
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.05.01-2024.05.10
小小帅
05-28 1029
医学图像识别任务因存在多种不同的病理指征而明显复杂化，这给未见标签的多标签分类带来了独特的挑战。这种复杂性凸显了对采用多标签零点学习的计算机辅助诊断方法的需求。预训练视觉语言模型（VLMs）的最新进展展示了医疗图像零镜头分类的显著能力。然而，这些方法在利用来自更广泛图像数据集的大量预训练知识方面存在局限性，而且通常依赖于放射科专家的手动提示构建。通过自动调整提示过程，提示学习技术已成为使 VLM 适应下游任务的有效方法。
GPT-4o：未来语言模型的典范
最新发布
2401_84266183的博客
05-31 734
GPT-4o作为GPT系列的最新成员，不仅在技术层面取得了显著的进步，也在用户体验、安全与伦理、社会影响等方面展现出了巨大的潜力。在一项假设性的测试中，GPT-4o理解长对话上下文的准确率达到了95%，比GPT-4提高了5个百分点，这表明其在语言理解方面的巨大潜力。这一庞大的模型规模，使得GPT-4o能够处理更加复杂的语言任务，从而在理解和生成语言方面达到新的高度。在人工智能的快速发展中，GPT-4o作为GPT系列的最新成员，以其卓越的性能和创新功能，成为了业界关注的焦点。
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.05.20-2024.05.25
小小帅
05-28 1263
大型语言模型（LLM）的成功促进了多模态大型语言模型（MLLM）这一新的研究趋势，改变了计算机视觉各个领域的研究范式。虽然 MLLM 在许多高级视觉和视觉语言任务（如 VQA 和文本到图像）中取得了可喜的成果，但还没有研究表明低级视觉任务如何从 MLLM 中受益。我们发现，由于视觉模块的设计原因，目前大多数 MLLM 对低层次特征视而不见，因此本质上无法解决低层次视觉任务。在这项工作中，我们设计了。
科普之旅 ｜ 什么是大语言模型
数据派THU
05-29 929
作者：陈之炎 本文约2000字，建议阅读5分钟 本文介绍了大语言模型。导读在这个信息爆炸的时代，你是否曾幻想过与机器流畅交谈，或是让AI助你笔下生花，创作出惊艳的文章？这一切，都离不开大语言模型的神奇魔力。今天，让我们一起揭开这层神秘的面纱，走进大语言模型的科普奇幻之旅！一‍‍什么是大语言模型——语言的数字魔法师基本概念想象一下，你面前有一个拥有数十亿颗魔法珠子的盒子，每一颗珠子都代表着对语言的...
LLM 大语言模型学习笔记
jacke121的专栏
05-30 411
LLM 大语言模型学习笔记
【自然语言处理】Transformer中的一种线性特征
bqw的博客
05-30 714
本文揭示了transformer decoder独有的一种线性特征。分析相邻层的embedding变换，发现其具有接近完美的线性关系。由于transformer层输出的范数一直很小，当移除残差链接时，线性度下降。实验显示，当移除特别接近于线性的模块或者使用线性近似这些模块，对loss或者模型表现几乎没有影响。通过在预训练中引入基于cosine相似度的正则化项来降低层的线性度，改善了模型在TinyStories和SuperGLUE上的效果。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.05.10-2024.05.20
小小帅
05-29 1200
预训练+微调范式是在各种下游应用中部署大型语言模型（LLM）的基础。其中，Low-Rank Adaptation（LoRA）因其参数高效微调（PEFT）而脱颖而出，产生了大量现成的针对特定任务的 LoRA 适配程序。然而，这种方法需要明确的任务意图选择，这给推理过程中的自动任务感知和切换带来了挑战，因为现有的多个 LoRA 适配程序都嵌入了单个 LLM 中。在这项工作中，我们介绍了 MeteoRA（多任务嵌入式 LoRA），这是一个专为 LLM 设计的可扩展多知识 LoRA 融合框架。
论文浅尝 | Flamingo:一个小样本学习的视觉语言模型
开放知识图谱
05-29 677
笔记整理：许彤，浙江大学博士链接：https://arxiv.org/pdf/2204.14198v1.pdf1. 动机人工智能的一个关键方面是在给定少量指令的情况下，能够快速学习新任务的能力。虽然在计算机视觉领域已经在类似的能力上有所进展，但最常用的范式仍然是先对从网络上收集的大量有监督的多模态数据进行预训练，然后对感兴趣的任务进行模型微调。然而，为了成功进行微调，通常需要数千个带注释的数据。除...
【创作活动】探索 GPT-4o：下一代语言模型的技术革命
傲泣龙腾的博客
05-29 922
近年来，人工智能（AI）和自然语言处理（NLP）领域发展迅猛，各种语言模型不断涌现，推动了科技进步的浪潮。其中，OpenAI推出的GPT系列语言模型尤为引人注目。从GPT-2、GPT-3到如今的GPT-4o，每一代的进步都令人瞩目。本文将深入探讨GPT-4o的技术细节、创新点及其应用前景。GPT-4o代表了当今AI和NLP技术的前沿，其在模型规模、训练数据、算法优化和创新点等方面的显著进步，使其在各个应用领域展现出了巨大的潜力。
自然语言处理和知识图谱
10-19
自然语言处理(NLP)是研究人与计算机交互的语言问题的一门学科，旨在让计算机能够理解、分析、处理和生成自然语言。而知识图谱(Knowledge Graph)则是一种用于表示和存储知识的图形化知识库，它通过将实体、属性和关系组织成图形结构，来描述现实世界中的知识。自然语言处理和知识图谱之间的关系在于，自然语言处理可以帮助我们从自然语言文本中提取出实体、属性和关系等知识元素，然后将它们组织成知识图谱的形式，从而构建起一个丰富的知识库。同时，知识图谱也可以为自然语言处理提供更加准确和丰富的语义信息，从而提高自然语言处理的效果和

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lucas_ch

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值