简单粗暴理解与实现机器学习之神经网络NN（四）：词向量-word2vec、Word2Vec模型介绍、统计语言模型、神经网络语言模型NNLMNNLM、Word2Vec案例Word2vec、词向量工具使用

最新推荐文章于 2024-01-09 23:42:23 发布
最新推荐文章于 2024-01-09 23:42:23 发布
阅读量1.8k 收藏 5
点赞数 1
分类专栏： 【机器学习与深度学习】 文章标签： 神经网络 算法 python 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35456045/article/details/104719223
版权
本文介绍了词向量的概念，包括词的独热表示和分布式表示，强调分布式表示能让相关词在向量空间中更接近。接着详细讲解了统计语言模型、N-Gram模型及其缺点，然后阐述了神经网络语言模型NNLM的原理。重点讨论了Word2Vec模型，它是通过神经网络训练得到词向量，文中提到了CBOW模型的前向计算和参数更新。此外，还探讨了Word2Vec训练中的优化技巧，如分层softmax和负采样。最后，文章提及了使用Python的gensim库和Google的word2vec工具进行词向量训练的方法。
摘要由CSDN通过智能技术生成

文章目录

7.4 词向量-word2vec

学习目标

  • 目标
    • 知道统计语言模型
    • 掌握神经网络语言模型NNLM原理
    • 掌握wor2vec的实现方式以及优化特点
  • 应用
    • 无

7.3.1 Word2Vec模型介绍

7.3.1.1 为什么学习词嵌入

图像和音频处理系统采用的是庞大的高维度数据集，对于图像数据来说，此类数据集会编码为单个原始像素强度的向量。不过，自然语言处理系统一直以来都将字词视为离散的原子符号，将字词表示为唯一的离散 ID 还会导致数据稀疏性，并且通常意味着我们可能需要更多数据才能成功训练统计模型。使用向量表示法可以扫除其中一些障碍。

在这里插入图片描述

  • 计算相似度
    • 寻找相似词
    • 信息检索
  • 作为 SVM/LSTM 等模型的输入
    • 中文分词
    • 命名体识别
  • 句子表示
    • 情感分析
  • 文档表示
    • 文档主题判别
  • 机器翻译与聊天机器人
7.3.1.2 词向量是什么

定义：将文字通过一串数字向量表示

  • 词的独热表示

    ：One-hot Representation

    • 采用稀疏方式 存储，简单易实现
    • 灯泡:[0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0]、灯管：[0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0]

维度过大词汇鸿沟现象：任意两个词之间都是孤立的。光从这两个向量中看不出两个词是否有关系，哪怕”灯泡”和”灯管”这两个词是同义词也不行

  • 词的分布式表示

    ：Distributed representation

    • 传统的独热表示（ one-hot representation）仅仅将词符号化，不包含任何语义信息
    • Distributed representation 最早由 Hinton在 1986 年提出。它是一种低维实数向量，这种向量一般长成这个样子： [0.792, −0.177, −0.107, 0.109, −0.542, …]
    • 最大的贡献就是让相关或者相似的词，在距离上更接近了
7.3.1.3 词向量训练来源思想-统计语言模型

统计语言模型

  • 统计语言模型： 统计语言模型把语言（词的序列）看作一个随机事件，并赋予相应的概率来描述其属于某种语言集合的可能性

注：语言模型就是用来计算一个句子的概率的模型，也就是判断一句话是否是人话的概率？

例如：一个句子由w1,w2,w3,w4,w5,…….

最低0.47元/天 解锁文章
汪雯琦
关注
专栏目录
全面理解并掌握人工智能（AI）的相关知识:从理论层面、实践层面以及应用场景三个角度
程序员光剑
08-05 1103
如今，人工智能已经成为一种不可或缺的新技术，它正在对我们的生活产生着深远影响，也将对社会产生着巨大的变革。无论是经济、科技还是文化方面，人工智能都在不断的进步中向前迈进。因此，作为一名机器学习的研究者，或者是企业的AI工程师、产品经理等等，都应该十分重视这一领域的最新进展。本文试图从理论层面、实践层面以及应用场景三个角度，带领读者全面理解并掌握人工智能（AI）的相关知识。
推荐系统[4.1]：Ranking Loss 函数：度量学习、Siamese 和 triplet 网络、RankNet、pair-wise、List-wise loss以及在深度学习框架中loss设计
丨汀、的博客
07-26 1380
推荐系统[4.1]：Ranking Loss 函数：度量学习、Siamese 和 triplet 网络、RankNet、pair-wise、List-wise loss以及在深度学习框架中loss设计
神经网络语言模型nnlm
06-30
包含windows,linux上的两个版本，供参考和大家一起学习讨论~
文档信息的向量化-NNLM模型和word2vec
IT之一小佬的博客
03-31 407
文档信息的向量化-NNLM模型和word2vec
神经网络语言模型NNLM
qq_41786778的博客
03-10 387
神经网络语言模型NNLM https://blog.csdn.net/qq_39422642/article/details/78658309
神经网络语言模型（NNLM）
热门推荐
Joe的博客
09-22 2万+
用神经网络来训练语言模型的思想最早由百度 IDL （深度学习研究院）的徐伟提出[1],NNLM（Nerual Network Language Model）是这方面的一个经典模型，具体内容可参考 Bengio 2003年发表在JMLR上的论文[2]1. 模型原理训练集数据是一组词序列w1 w_{1 }…wTw_{T},wt∈Vw_{t} \in V。其中 VV 是所有单词的集合（即词典），ViV_{
神经网络语言模型（Neural Network Language Model，NNLM）
最新发布
金石软件
01-09 1880
NNLM 通过学习文本序列中的词汇之间的概率关系，能够捕捉到语言的结构和语境，从而能够生成自然语言文本或进行其他与语言相关的任务。嵌入层用于将输入的单词转换为连续向量表示，隐藏层用于学习输入序列的语言结构，而输出层则输出下一个单词的概率分布。具体而言，NNLM 试图最大化给定前文单词的条件下，下一个单词出现的概率。NNLM 的输入是一个固定长度的前文单词序列，用于预测下一个单词。每个单词通常由其词嵌入（word embedding）表示，这是一个固定维度的实数向量，它将单词映射到连续的向量空间中。
深入浅出Word2Vec原理解析
Microstrong
03-30 1612
本文概览： 1. 背景知识 Word2Vec是语言模型中的一种，它是从大量文本预料中以无监督方式学习语义知识的模型，被广泛地应用于自然语言处理中。 Word2Vec是用来生成词向量的工具，而词向量与语言模型有着密切的关系。因此，我们先来了解一些语言模型方面的知识。 1.1 统计语言模型 统计语言模型是用来计算一个句子的概率的概率模型，它通常基于一个语料库来构建。那什么叫做一个句子的概率呢？假设 ...
人工智能学习与实训笔记（一）：零基础入门学习与实训笔记
weixin_45512098的博客
07-26 702
基于百度飞桨的人工智能学习笔记
【NLP】神经网络语言模型（NNLM）
让算法融入生活，改变生活！
10-06 1265
背景 语言模型也经常会在NLP中提出。在深度学习大行其道的今天基于神经网络的语言模型与传统定义的又有什么区别呢？语言模型在NLP中有什么意义呢？不妨沉下心，了解一下。 语言模型是一个单纯的、统一的、抽象的形式系统，语言客观事实经过语言模型的描述，比较适合于电子计算机进行自动处理，因而语言模型对于自然语言的信息处理具有重大的意义。换一句话说，语言模型其实就是看一句话是不是正常人说出来的正常的话。语言模型在信息检索、机器翻译、语音识别中担任着重要的任务。比如机器翻译、语音识别得到若干候选之后，可以利用语言模型挑
Word Embedding（一）NNLM、word2vec、GloVe
BshoterJ的博客
06-22 1597
三种基本embedding方式原理概述以及源码实现
神经网络语言模型(NNLM)/word2vec学习
zbzckaiA的博客
12-12 634
在学习这块的时候卡在了对于训练目标的确定上,目标函数是什么？随时函数又改怎么确定？主要的难点在于像推荐算法、图片识别等模型均有明显的目标去训练，什么是高潜用户？那张图片上面有一只狗，但是语言模型的目标较为抽象。 1.NNLM(神经网语言模型) https://blog.csdn.net/u010089444/article/details/52624964?ref=myread http:/...
[我们是这样理解语言的-3]神经网络语言模型
Ryan Z 的技术日志
08-13 4700
[我们是这样理解语言的-3]神经网络语言模型 2015/03/15机器学习、自然语言处理Jason Copper 1 简介 语言模型是自然语言处理领域的基础问题，其在词性标注、句法分析、机器翻译、信息检索等任务中起到了重要作用。简而言之，统计语言模型表示为：在词序列中，给定一个词wt和上下文中所有词wt−1，这个序列出现的概率，如下式， P^(wT1)=∏t=1TP^(wt
NLP----神经网络语言模型（NNLM），词向量生成，词嵌入，python实现
沃·夏澈德的博客
12-03 4309
理论主要来自论文A Neural Probabilistic Language Model，可以百度到的 这篇博文对理论方面的介绍挺不错的    链接地址 一下是其中的一些截图，主要是算法步骤部分 算法步骤 前向计算 反向更新   个人实现的代码 import glob import random import math import pickle import nu...
[我们是这样理解语言的-3]神经网络语言模型（续）
Ryan Z 的技术日志
08-13 2446
8 Eric Huang’s Model 在Bengio的神经网络结构的基础上，Eric Huang提出了引入文档的全局信息引神经网络语言模型，结构类似于Bengio的网络结构。 8.1 模型结构 相比Bengio的模型，Eric Huang引入了词的全局信息，在原本的网络结构中加入了子网络，形成如下图所示结构。 图5 Eric Huang的网络结构图 其中，
自然语言处理(四)神经网络语言模型及词向量
JN_rainbow的博客
12-01 2030
神经网络语言模型 用句子SSS的概率p(S)p(S)p(S)来定量刻画句子。 统计语言模型是利用概率统计方法来学习参数p(wi∣w1…wi−1)p(w_i|w_1\dots w_{i-1})p(wi​∣w1​…wi−1​)，神经网络语言模型则通过神经网络学习参数. 统计语言模型的缺点 平滑技术错综复杂且需要回退至低阶，使得该模型无法面向更大的n元文法获取更多的词信息. 基于最大似然估计的语言模型...
【语言模型与词向量】学习笔记
weixin_47242312的博客
08-28 231
词向量发展及内容NNLMword2vecGloveElmo NNLM word2vec Glove Elmo
NLP入门概览（3）—— 神经网络语言模型、词向量
getinglxf的博客
02-05 1万+
  在这一部分中，我们将在此基础上介绍神经网络语言模型以及词向量的相关知识。在介绍这些知识之前，我们首先对自然语言处理领域的整体架构进行一些简单的介绍。 1. 自然语言处理架构   首先，我们来看这样一张图。   从这张图中，可以清晰地看到，所谓的规则法、概率统计法、深度学习法都只是处理各类NLP问题的具体方法，而不是NLP问题的组成部分。（这一点一定要清晰，NLP不只是深度学习，深度学习仅仅是...
深度学习word2vec详解：语言模型与词向量应用
word2vec是Google于2013年发布的一款工具，基于深度学习的神经网络架构，它将单词转换为连续的向量表示，极大地简化了自然语言处理任务。这种技术利用词向量将每个词映射到一个多维度空间，使得词与词之间的关系在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值