NLP入门学习路线 word2vec 原理分析

最新推荐文章于 2024-05-06 21:31:09 发布
最新推荐文章于 2024-05-06 21:31:09 发布
阅读量201 收藏
点赞数 2
分类专栏： nlp 文章标签： nlp 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32507417/article/details/108013427
版权

NLP入门学习路线和word2vec

NLP和ML相关资料

ML
Awesome NLP
Word2vec blog
ML+Learning
图解word2vec

NLP

在这里插入图片描述
在这里插入图片描述

NLP主要研究方向

在这里插入图片描述

NLP流程

在这里插入图片描述

NLP学习

看了nlp的一般任务的流程，决定从embedding入手好好学习。

embedding

万物皆可embedding。已经忘记了是谁说的了，肯定有人说过。
为什么embedding，最终的目的是为了形成能够让计算机理解的形式。
那么one hot 也可以做到，为什么不用？
1.one hot确实是计算机可以理解的形式，但会引入维度灾难
2.one hot没法代表两个词之间的关系，比如like 和love应该是意思相近的词（中国人的视角），但是如果用one hot就没法度量了。
在这里插入图片描述
所以embedding的目的主要有以上两个。

word embedding

一下主要说明word2vec的原理，不涉及实现，主要在skipgram 以及负采样，且窗口大小均取为2。

word2vec
skipgram

在这里插入图片描述
用中心词去预测左边2【窗口大小】个词和右边两个词。
在这里插入图片描述
但是为了提高速度，参考上面最后一个链接，修改了一下模型，如下所示
在这里插入图片描述
输入数据就要重新构造，变化如下：
此时样本target都是1，模型肯定是学不出来东西的，所以需要负采样，即将非窗口内的word作为负样本统计出来在这里插入图片描述
具体做法需要再深入研究。

里面涉及的参数

embedding_size 一般1e1-1e2量级
窗口大小 一般2-15
负样本数量 一般5足够
等
在这里插入图片描述

我好方^-^
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
自然语言学习——使用word2vec对文本进行情感分析.rar
03-04
在自然语言处理（NLP）领域，情感分析是一项重要的任务，它旨在理解、识别和提取文本中的主观信息，如情绪、态度或倾向性。Word2vec是Google开发的一种深度学习模型，它通过训练大规模语料库来学习词向量，这些向量...
NLP学习全攻略：从入门到精通
学海无涯苦作舟的博客
04-03 937
通过本文所介绍的学习路线和资源推荐，相信你已经对NLP的学习有了更清晰的认识和规划。对于想要掌握NLP技术的你，本文将为你呈现一条清晰的学习路线，带你从入门到精通，轻松开启NLP的探索之旅。在探索NLP的旅程中，你可能会遇到各种挑战和困难，但只要你保持热情与坚持，相信你一定能够克服一切，成为NLP领域的佼佼者。通过参与这些实战项目，你可以将所学知识应用于实际场景中，提升解决问题的能力，并积累宝贵的项目经验。通过深度学习进阶的学习，你将能够掌握NLP领域的最新技术和方法，提升自己在NLP领域的竞争力。
NLP入门——基础知识
a131529的博客
11-05 885
它的目标是要通过与环境（Environment）交互，根据环境的反馈（Reward），优化自己的策略（Policy），再根据策略行动（Action），以获得更多更好的反馈奖励（Reward）。大语言模型也不属于生成式AI，比如谷歌的BERT，不擅长长文本生成工作。有能力学习输入序列中的所有词的相关性和上下文，不会收到短时记忆的影响；并非所有的生成式AI都属于大语言模型，如图像的扩散模型，并不输出文本；位置编码：规定了词在句子中出现的顺序，便于并行训练，提高速度。LLM中的大：参数多，高达数十亿；
2024年自然语言处理（NLP）学习路线总结，2024年最新砥砺前行
最新发布
2401_84563561的博客
05-06 805
自动文摘（又称自动文档摘要）是指通过自动分析给定的一篇文档或多篇文档，提炼、总结其中的要点信息，最终输出一篇长度较短、可读性良好的摘要（通常包含几句话或数百字），该摘要中的句子可直接出自原文，也可重新撰写所得。根据输入文本的数量划分，文本摘要技术可以分为单文档摘要和多文档摘要。在单文档摘要系统中，一般都采取基于抽取的方法。
【精品】NLP自然语言处理学习路线(知识体系)
欢迎自九陌而来的你做客九陌斋！
09-05 1560
本文根据自然语言处理主要的几个子领域及其包含的主要任务简单总结了一份NLP的学习路线，也可以说是知识体系。后续个人的技术文章也将主要围绕NLP去展开，大致也会按照这个路线去记录相关的基础知识、方法、技术、工具及实践案例等等。所以本文不仅仅是整理了一份学习路线，更是个人未来很长一段时间的学习规划。
浅谈自然语言处理（NLP）学习路线（二）：N-Gram模型，一文带你理解N-Gram语言模型
尚拙的博客
03-25 2112
你现在在看我的文章，这是一些文字，但是这些文字实质上是以像素点的形式呈现给你的，所以不要以为这些文字是计算机理解的元素，它不过是一些像素点组合出的可视化图像而已。可是我们现在有很多时候不仅仅是想让文字呈现在我们计算机屏幕上这么简单，更多的是想让计算机接收到一些文字信息后能够在它“心里”对这些文字信息进行理解、分析和处理，怎么办呢？这个时候，语言模型就派上用场了。我们知道，计算机接收到的所有类型的信息，本质上都是转化成“0、1”这两个数进行存储或者处理的，语言文字也不例外。
NLP学习路线总结：从入门到精通
Code掘金的博客
04-02 1041
自然语言处理（Natural Language Processing，NLP）是人工智能领域的重要分支，它致力于使计算机能够理解、解释和生成人类语言。NLP技术的应用范围广泛，涵盖了机器翻译、情感分析、语义理解、信息抽取等诸多领域。对于想要深入学习NLP的初学者来说，建立一条系统的学习路线至关重要。在本文中，我们将提供一条NLP学习路线的总结，帮助您从入门到精通。
word2vec数学原理.pdf
08-19
Word2vec是一种在自然语言处理（NLP）领域广泛应用的模型，它的主要任务是学习将词语转换为连续的向量表示，以便更好地捕捉词汇之间的语义和语法关系。这一技术由Tomas Mikolov等人在2013年提出，包括两种主要的实现...
Word2Vec原理与实践
01-02
Word2Vec是一种基于神经网络的自然语言处理技术，它的主要目标是解决传统词语表示方法（如One-Hot编码）存在的问题，即高维度和无法捕捉语义信息。Word2Vec通过学习大规模文本数据，为每个词生成一个低维且具有语义...
word2vec_中的数学原理详解.zip
02-04
《word2vec中的数学原理详解》是一篇深入探讨自然语言处理领域中word2vec模型的学术文章。word2vec作为NLP（自然语言处理）的关键技术，它的出现极大地推动了语义理解的进步，使得计算机能够更好地理解人类语言的...
NLP-Word2Vec.rar
08-15
Word2Vec是自然语言处理（NLP）领域中一个重要的技术，由Tomas Mikolov等人在2013年提出。它是一种基于深度学习的模型，能够将词汇转化为连续的向量表示，使得词与词之间的语义关系在向量空间中得以体现。这个模型有...
NLP-RoadMap::books: 机器学习、深度学习、自然语言处理学习路线图 及 AI方向学习资源、工具
04-10
NLP-RoadMap 持续更新中。以下内容有错误或者不足，欢迎提Issue或者联系我讨论 整理不易，希望点个小星星 :glowing_star::glowing_star::glowing_star: ​支持下呀！ 前言 数理基础 编程基础 机器学习 深度学习 自然语言处理 AI资源 AI工具 后记 :sunflower: 前言 The last thing you figure out in writing something is what to put first. 排版清晰考虑，以下只列出一级分层的主题，具体内容请点击超链查看。 :four_leaf_clover: 数理基础 数学是整个AI学习的基础，但对于一般的机器学习从业者而言，数学知识基本在上完大学四年就足够用了。当然，数学是属于多多益善的那种，了解得越多越深入，那么当你在遇到问题时，就会有更多的思考角度和解决问题的方案。 线性代数 概率统计 微积分 最优化 信息论 推荐资料 :deciduous_tree: 编程基础 经常说的一句话，『算法工程师首先要是一个工程师』。你只有掌握扎
NLP入门之路及学习方法：从任务实践入手！.pdf
03-16
笔者从2018年初开始接触机器学习，现在是某一线互联网公司的NLP算法工程师。从小白一步步走来，积累了一些学习和实践过程中的经验。现在，从个人情况、入门心得和案例分享三个方面，介绍一下NLP的入门经历和学习方法，希望能帮助到大家。
NLP学习路线指南总结
一如既往的准备文章
04-03 1479
通过以上学习路线，你将能够逐步掌握NLP的核心技术和应用，并在实践中不断提升自己的能力和水平。记得在学习过程中保持对最新研究进展的关注，不断更新和扩展自己的知识体系。祝你学习愉快，取得丰硕的成果！当然可以，以下是一份较为详细的NLP学习路线指南，帮助你逐步掌握自然语言处理的核心技术和应用。
NLP入门开源实践总结
09-17 607
NLP入门开源实践总结
浅谈自然语言处理(NLP)学习路线（一）--- 概述
尚拙的博客
08-19 6633
好了，告一段落，对NLP基础学习路线做个总结：1. 数学基础：重点是函数性质、导数(特别是对矩阵求偏导)、不同概率的定义和性质、数学期望、参数估计、梯度下降法2. 机器学习：重点是LR、Xgboost、HMM、CRF3. 传统文本算法： n-gram、tf-idf、textrank、lda4. 经典神经网络语言模型：LSTM、NNLM、word2vector、fasttext5. 进阶神经网络语言模型：elmo、transformer、gpt、bert。
NLP学习路线（其实就是个汇集了所有经典模型的自然语言处理学习笔记）
qq_52670137的博客
11-15 1259
这是我整理的关于NLP较为详细的一个学习路线笔记，从词向量word embedding开始，rnn、lstm、seq2seq（attention）、transformer，直到bert结束。每个模型都将相关挑选的合适资料找出，便于整体学习。
【NLP】NLP基础知识
热门推荐
Koma_zhe的学习笔记
05-07 1万+
目录自然语言处理主要内容自然语言的构成自然语言处理的步骤1：词法分析1 分词：2 实体识别3 实体识别方法：序列标注4 序列标注关键算法：5 序列标注应用：5.1 新词发现：5.2 领域中文分词5.3 命名实体识别5.4 依存句法分析（帮助句法分析）自然语言处理的步骤2：句法分析1 主题模型与特征提取1.1 TF-IDF1.2 主题模型1.3 LDA（潜在狄利克雷分配Latent Dirichlet Allocation）1.4 词向量与分布式表示2 文本分类与相似度量自然语言处理的步骤3：语
NLP基础知识
zhaohui blog
04-20 763
深度之眼 NLP基础知识 整理笔记

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值