NLP知识

已于 2022-03-04 10:49:37 修改
阅读量597 收藏
点赞数
分类专栏： NLP 文章标签： 自然语言处理
于 2022-01-08 22:46:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28057379/article/details/122387954
版权

1、词袋模型、N-gram模型、TF-IDF、word2vec词向量、NNLM

词袋模型和N-gram模型 | Astropeak

机器学习：生动理解TF-IDF算法 - 知乎

自然语言处理NLP中的N-gram模型_songbinxu的博客-CSDN博客_n-gram

https://segmentfault.com/a/1190000023439928

语言模型：从n元模型到NNLM - 知乎

word embedding、NNLM

word2vec：神经语言模型(NNLM), CBOW, skip-gram_哔哩哔哩_bilibili

word2vec  CBOW、skit-gram, hierachical softmax、negtive sample

word2vec原理(二) 基于Hierarchical Softmax的模型 - 刘建平Pinard - 博客园

Hierarchical Softmax（层次Softmax） - 知乎

Negative Sampling - 知乎

位置编码：

设计原则：

  • 它能为每个时间步输出一个独一无二的编码；
  • 不同长度的句子之间，任何两个时间步之间的距离应该保持一致；
  • 模型应该能毫不费力地泛化到更长的句子。它的值应该是有界的；  可以用来表示模型在训练过程中从来没有看到过的句子长度。
  • 它必须是确定性的。 
King的王国
关注
专栏目录
自然语言处理NLP基础知识
段智华的博客
12-13 1242
自然语言处理NLP基础知识
自然语言处理(NLP)之五：知识图谱
xunyishuai5020的博客
04-07 7094
现在的很多数据是互相连接的，如果想分析这些链接的价值，知识图谱可以是一种有效的工具。而且随着万物互联时代的到来，链接中所包含的信息必然会发挥更大的价值，这也是为什么知识图谱在最近几年发展这么快的主要原因。 知识图谱的概念、应用、构建 知识图谱的定义 知识图谱是2012年Google公司提出的一个新名词，这项技术的出现可以追溯到上世纪的六七十年代，在Google公司为发展产业化 将其称为知识图谱之前，它一直被学术界称作语义网络（Semantic Network）。 ICSW（international con
自然语言处理中的知识图谱
程序员光剑
01-18 1036
1.背景介绍 自然语言处理(NLP)是计算机科学和人工智能领域的一个分支，旨在让计算机理解、生成和处理人类语言。知识图谱(Knowledge Graph，KG)是一种以实体(entity)和关系(relation)为基础的图形数据库，可以帮助计算机理解和推理人类语言。在过去的几年里，知识图谱在自然语言处理领域取得了显著的进展，成为了NLP的一个重要组成部分。 知识图谱在自然语言处理中的应用主要...
自然语言处理NLP知识梳理
RayX的博客
10-21 1180
NLP相关知识梳理研究和应用领域研究难点学科掌握一般处理过程获取语料语料预处理特征工程模型训练模型评估模型上线应用模型重构（非必须） 感谢知乎 @华天清 的总结 研究和应用领域 自动分词 词性标注 句法分析 文本分类 信息抽取 文本生成 语音识别和生成 信息检索 问答系统 机器翻译 情感分析 自动摘要 文字蕴含 研究难点 单词的边界难界定 词义的消歧 句法的模糊性 有瑕疵的或不规范的输入 ...
自然语言处理NLP关键知识点
csdn1561168266的博客
04-12 1093
自动文本摘要是自然语言处理（ NLP ）技术的一种应用，它可以将一篇较为冗长的文章摘要成一段较为简洁明了的内容，便于人们快速浏览和理解。自动文本摘要技术主要包括以下几个方面：1．文本处理：从原始文本中去除噪声和冗余信息，例如标点符号、停用词、重复词语等。2．句子分割：将文本分割成单独的句子，便于后续处理和分析。3．文本向量化：将每个句子转换成向量表示，便于计算机进行处理和比较。4．句子重要度评估：使用各种算法和技术来评估每个句子的重要度，例如 tf - idf 、 TextRank 等。
自然语言处理NLP知识结构
喜欢打酱油的老鸟
11-08 2411
自然语言处理NLP知识结构 文|秦陇纪，数据简化DataSimp 自然语言处理(计算机语言学、自然语言理解)涉及：字处理，词处理，语句处理，篇章处理词处理分词、词性标注、实体识别、词义消歧语句处理句法分析(SyntacticAnalysis)、语义分析(SenmanticAnalysis)等。其中，重点有： 1.句法语义分析：分词，词性标记，命名实体识别。 2.信息抽取 3.文本挖掘：文...
NLP--知识图谱总结
weixin_43749805的博客
05-09 2330
知识图谱是一种以图形方式展示知识结构和知识关系的工具。它不同于普通的知识库，知识图谱采用的是图形数据库，能够更加高效地处理大量的知识和关系。组成知识图谱主要由三部分组成：实体、属性和关系。实体指具体的事物或概念，属性指实体的特征，关系指实体之间的联系。例如，一个人可以是实体，他的姓名、性别、年龄等就是属性，而他与其他人之间的关系就是关系。
自然语言处理（NLP）知识结构总结
Jason_Honey2的博客
09-11 2659
自然语言处理（NLP）知识结构总结 自然语言处理知识太庞大了，网上也都是一些零零散散的知识，比如单独讲某些模型，也没有来龙去脉，学习起来较为困难，于是我自己总结了一份知识体系结构，内容来源主要参考黄志洪老师的自然语言处理课程，主要参考书为宗成庆老师的《统计自然语言处理》，可能很多内容写的不清楚，但好像中文NLP书籍就这一本全一些，如果想看好的英文资料，可以到我的GitHub上下载： http://github.com/lovesoft5/ml 下面直接开始正文： ▌一、自然语言处理概述 1）自然语言处理：利
自然语言处理NLP + 知识图谱
u010451780的专栏
09-01 6674
黄金搭档：自然语言处理NLP + 知识图谱 金融行业因其与数据的高度相关性，成为人工智能最先应用的行业之一，而自然语言处理（NLP）与知识图谱作为人工智能技术的重要研究方向与组成部分，正在快速进入金融领域，并日益成为智能金融的基石。 一般的金融科技公司只会集中在其中的某些业务方向，只要能深入掌握两到三种能力，就能具有相当的竞争力。在这些业务场景中，自然语言处理（NLP）和知识图谱技术往往需要共同应用，才能发挥出最大的效能。同时，一种核心能力可以在多个智能金融应用场景中得到应用，这些应用场景包括：智能投研
自然语言处理（NLP）与知识图谱（KG）的发展史
cuiyuan605的专栏
11-24 6257
自然语言处理（NLP）与知识图谱（KG）的发展史
NLP： 基于自然语言处理的咨询平台知识库系统.zip
04-21
基于自然语言处理的咨询平台知识库系统 基于自然语言处理的知识库系统、咨询、问答库 项目采用maven的项目管理工具管理，并且采用的Spring cloud、SpringBoot微服务框架开发。此处建议使用idea工具进行编辑开发。
《深度学习-NLP自然语言处理知识图谱》
02-06
深度学习存在多个领域，NLP作为深度学习领域的一个主要分支其知识内容众多。本知识图谱总结了NLP领域的大部分重要的模型与算法。如词向量模型、bert、transformer模型。。。以及openai的利器GPT历代模型。通过该知识...
智能对话系统中的个性化自然语言处理知识图谱语音图像数据采集31页.pdf
07-08
智能对话系统的核心在于理解和处理用户的自然语言输入，这通常通过自然语言处理（NLP）技术实现。NLP技术包括语音识别（ASR）、自然语言理解（NLU）、对话管理（DM）、自然语言生成（NLG）等几个主要组成部分。语音...
NLP知识图谱-环境搭建详细步骤
02-07
自然语言处理（NLP）知识图谱是一种结构化的知识存储方式，它将复杂的文本信息转化为图形形式，便于理解和分析。在构建NLP知识图谱时，首要任务是搭建合适的环境，以便于后续的开发和应用。以下是搭建NLP知识图谱...
智能客服_自然语言处理知识图谱语音图像数据采集王巍巍.pdf
07-08
在这一背景下，自然语言处理（Natural Language Processing，NLP）作为人工智能的一个重要分支，扮演着至关重要的角色。 自然语言处理涉及使用计算机来处理和分析大量自然语言数据，使其能够理解和解释人类语言的...
关于 NLP 应用方向与深度训练的核心流程
最新发布
xymspace
09-20 1873
关于语言模型：- 作用判断那一句话相对更合理，相对不合理的会得到较底的分值：挑选成句概率分值最高的- 评价指标：PPL（Perplexity） 困惑度- 评估一个语言模型在给定数据集上的预测效果- PPL 值与成句概率成反比（PPL 越小，成句概率越高）
TaskRes: Task Residual for Tuning Vision-Language Models
weixin_50917576的博客
09-19 831
大规模视觉语言模型(VLMs)在数十亿级数据上进行了预训练，学习了一般的视觉表示和广义的视觉概念。原则上，VLMs的良好知识结构在转移到数据有限的下游任务时应该得到适当的继承。然而，大多数针对VLMs的高效迁移学习(ETL)方法要么破坏先验知识，要么过度偏向先验知识，例如，提示调优(PT)丢弃预训练的基于文本的分类器并构建新的分类器，而适配器式调优(AT)完全依赖于预训练的特征。
大型语言模型 (LLM) 劫持攻击不断升级，导致每天损失超过 100,000 美元
网络研究观
09-20 1477
这一趋势反映了 LLM 访问黑市的不断增长，攻击者的动机包括个人使用和规避禁令和制裁。LLMjacking 的频率和复杂性不断提高，给云用户带来了巨大的财务和安全风险。
如何免费调用GPT API进行自然语言处理
Explinks的博客
09-19 1283
对于许多初创公司或个人开发者而言，高昂的API调用费用常常成为他们探索GPT技术的拦路虎。那么，有没有可能以免费或低成本的方式调用GPT API进行自然语言处理呢？答案是肯定的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值