nlp入门3——特准输入

最新推荐文章于 2024-09-01 21:08:00 发布
最新推荐文章于 2024-09-01 21:08:00 发布
阅读量38 收藏
点赞数
分类专栏： nlp 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qishanbaby/article/details/133183862
版权

目录

一、稠密编码

稠密编码步骤&使用

稠密编码优势

二、组合稠密向量

四、其他的特征输入

一、稠密编码

得到具有特征含义的向量表示

a 为one-hot的表示表示一个词的特征——>表示的向量非常长

b 为稠密编码表示一个词的特征

稠密编码步骤&使用

词直接有相互关系 ——> 稠密编码

无关联，特征空间较小 ——> one-hot

稠密编码优势

nlp中的预训练是得到每个词的一个好的向量表示（每个词的一个合适的稠密编码）

二、组合稠密向量

f1~fk 为1~k个词的词向量（特征）

连续词带模型的优势：无论有多少个特征向量（词），最后都可以变为固定大小

CBOW模型的基本思想是，给定一个窗口内的上下文词汇，模型试图预测窗口中心的目标词汇（固定输入大小的原因）。

四、其他的特征输入

1 词与词的距离  词的位置 都可以作为特征输入

2 pad 把每句话填充为等长的句子，方便训练，填充的长度也可以作为一个特征（向量表示为0）    unk 表示不在词典里面的词，向量表示为0（无意义）

3 词丢弃 

4 特征组合（特征直接的交互）把词之间的特征进行组合 可能性多  一般采用非线性神经网络进行训练 

5 向量共享 

6 维度 

qishanbaby
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
nlp入门7——神经语言模型
qishanbaby的博客
09-23 47
x为输入 是一个拼接的向量 假设一个w为300维 则 x为1*300*k维。w1代表一个词 v代表一个映射到一个词向量。
自然语言处理入门——新手上路
qq_42794545的博客
11-10 8031
自然语言处理（NLP）是一门融合了计算机科学、人工智能以及语言学的交叉学科。 一、自然与语言与编程语言 1.词向量 自然语言中的词汇量比编程语言中的关键词丰富。再自然语言中，我们可以使用的词汇量是无穷无尽的，几乎没有意义完全相同的词语。我们国家语言文字工作委员会发布的《现代汉语常用词表（草案）》一共收录56 008个词条。除此之外，我们还可以随时创造各种类型的新词，而不仅限于名词。 2.结构化 自然语言是非结构化的，而编程语言是结构化的。所谓的结构化，是指信息具有明确的结构关系，比如编程.
NLP入门——基础知识
a131529的博客
11-05 1092
它的目标是要通过与环境（Environment）交互，根据环境的反馈（Reward），优化自己的策略（Policy），再根据策略行动（Action），以获得更多更好的反馈奖励（Reward）。大语言模型也不属于生成式AI，比如谷歌的BERT，不擅长长文本生成工作。有能力学习输入序列中的所有词的相关性和上下文，不会收到短时记忆的影响；并非所有的生成式AI都属于大语言模型，如图像的扩散模型，并不输出文本；位置编码：规定了词在句子中出现的顺序，便于并行训练，提高速度。LLM中的大：参数多，高达数十亿；
nlp入门2——nlp问题中的特征
qishanbaby的博客
09-22 53
2 （word net）更准确判断词语的意思。1 通过词源和词干推断出单词的大致特征。NNP主语 VBD谓语 NN宾语。3 把不同类型的单词进行归类。分析句子中的主谓宾（语法）
自然语言处理从入门到应用——自然语言处理（Natural Language Processing，NLP）基础知识
热门推荐
冯·诺依曼
05-31 1万+
自然语言通常指的是人类语言，是人类思维的载体和交流的基本工具，也是人类区别于动物的根本标志，更是人类智能发展的外在体现形式之一。自然语言处理（Natural Language Processing，NLP）主要研究用计算机理解和生成自然语言的各种理论和方法，属于人工智能领域的一个重要甚至核心分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学（Computational Linguistics，CL）。随着互联网的快速发展，网络文本呈爆炸性增长，为自然语言处理提出了巨大的应用需求。
NLP入门——语言结构/语言建模
noobiee的博客
10-24 5471
1. 语素 morphemes词素是最小的有意义的语言单位，不能够进一步划分为更小的单位而不破话或彻底改变其词汇意义或语法意义。语素和词的区别在于，许多语素不能独立存在。而能够单独存在并且有意义的语素叫做；不能独立存在，要借助其他语素表达意义的语素则称之为。每个词都包含最少一个语素。按能否需要特别指出，有时候派生语素和屈折语素会采用同一种表现形式。比如说，-er，当这个后缀跟在形容词后面，它作为屈折语素，表示比较级；当跟在动词后面，则是一个派生语素，形成一个新词，如cook-cooker。从。
自然语言处理1——探索自然语言处理的基础 - Python入门篇
theskylife的博客
12-29 1374
自然语言处理（NLP）是计算机科学领域中备受关注的分支，旨在使计算机能够理解、解释、生成人类语言，实现更自然的人机交互。本篇博客将深入介绍NLP的基础知识，并结合Python中常用的库进行实际操作，帮助读者更好地理解和应用NLP。
nlp入门4——文本的向量化表示（嵌入）
qishanbaby的博客
09-23 66
one-hot在一个词典大小的空间（特别大1*40000）——> 使用矩阵来映射（40000*300维）——>向量相乘 ——> 得到1*300维的向量。一个词的one-hot编码 * 这个词典的稠密向量表示 = 这个词的稠密向量编码（定位词）使用不同语料库训练得到的语言模型不同，分类预测的结果不一样。的特征）希望输出 的词为 C 的概率最大。
自然语言处理(NLP)入门——Transformer详解(1)
one time one step的博客
03-31 559
Transformer的背景: 2017年发表的的Transformer论文 2018年出现 优势: Transformer能够利用分布式GPU进行并行训练，提升模型训练效率. 在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好. attention机制的使用. Transformer结构解析 输入部分 源语言的文本嵌入层 + 位置编码器 目标语言的文本嵌入层 + 位置编码器 编码器部分 编码器是有N个编码器层组成 编码器层是由两个子层连接结构构成 第一个子层连.
NLP小白入门——超全中文文本分类系统（含训练及测试数据集）
04-08
在自然语言处理（NLP）领域，文本分类是一项基础任务，它涉及到将文本按照预定义的类别进行划分。本资源“NLP小白入门——超全中文文本分类系统”旨在为初学者提供一个全面的入门教程，包括训练集、测试集以及相关...
第三篇:自然语言处理入门教程——NLP精讲
禅与计算机程序设计艺术
10-10 632
作者：禅与计算机程序设计艺术 1.背景介绍 自然语言处理（Natural Language Processing，NLP）在现代社会是一个重要研究方向，近几年来成为热门话题之一。自然语言理解、文本挖掘、机器翻译、语音识别等领域都依赖于NLP技术。NLP的应用场景十分广泛，涵盖了人工智能、语言学习、聊
自然语言处理（NLP）学习笔记——RNN模型
qq837993702的博客
10-05 9601
了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类.
自然语言处理————分词（Tokenizer）
qq_51950429的博客
02-05 945
分词简述，自学。
深度学习速通系列:Bert模型vs大型语言模型（LLM）
Ven%的博客
09-01 402
选择使用Bert模型、LLaMA模型或ChatGLM模型等大型语言模型（LLM）时，应根据具体的应用场景、任务需求、资源限制和预期目标来决定。
自然语言处理系列五十》文本分类算法》SVM支持向量机算法原理
最新发布
weixin_52610848的博客
09-01 404
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
《自然语言处理》—— 词向量之CountVectorizer方法实现
weixin_73504499的博客
08-31 876
一、什么是词向量，为什么要进行词向量、二、CountVectorizer方法简单介绍、三、示例：代码实现
轻量级冠军：NVIDIA 发布具有领先准确率的小语言模型
sdfghkhsab的博客
08-27 767
驱动的工作站上运行，但却在针对 AI 驱动的聊天机器人、虚拟助手、内容生成器和教育工具的多项基准测试中取得了出色的成绩。由于原始 Mistral-NeMo-Minitron 8B 模型以最先进的准确性为基准，因此使用 AI Foundry 缩小后的版本仍能为用户提供高度的准确性，只需要极少的训练数据和计算基础设施。这种技术意味着只需要原始数据集的一小部分，来训练相关模型系列中的每个附加模型，与从头开始训练较小的模型相比，在剪枝和蒸馏较大模型时最多可将计算成本降为原本的四十分之一。它包括流行的基础模型、
李沐讲座：大语言模型的实践经验和未来预测 | 上海交大
kebijuelun的博客
09-01 643
本文记录了李沐关于语言模型与职业生涯分享的精彩讲座，涵盖了大语言模型的核心要素、工程实践中的挑战，以及演讲者个人职业生涯中的心得体会。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值