如何用TensorFlow训练词向量

最新推荐文章于 2024-03-02 21:07:17 发布
最新推荐文章于 2024-03-02 21:07:17 发布
阅读量9.7k 收藏 21
点赞数 5
文章标签： 深度学习 word2vec 词向量 TensorFlow skip-gram
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangyangzhizhou/article/details/77530479
版权
深度学习 同时被 3 个专栏收录
33 篇文章 53 订阅 ¥79.90 ¥99.00
订阅专栏 超级会员免费看
杂
340 篇文章 0 订阅
订阅专栏
TensorFlow
6 篇文章 1 订阅
订阅专栏

前言

前面在《谈谈谷歌word2vec的原理》文章中已经把word2vec的来龙去脉说得很清楚了，接下去这篇文章将尝试根据word2vec的原理并使用TensorFlow来训练词向量，这里选择使用skip-gram模型。

语料库的准备

这里仅仅收集了网上关于房产新闻的文章，并且将全部文章拼凑到一起形成一个语料库。

skip-gram简要说明

skip-gram核心思想可以通过下图来看，假设我们的窗口大小为2，则对于文本”The quick brown fox jumps over the lazy dog.”，随着窗口的滑动将产生训练样本。比如刚开始是(the,quick)(the,brown)两个样本，右移一步后训练样本为(quick,the)(quick,brown)(quick,fox)，继续右移后训练样本为(brown,the)(brown,quick)(brown,fox)(brown,jumps)，接着不断右移产生训练样本。skip-gram模型的核心思想即是上面所说。

这里写图片描述

预料加载&分词

了解本专栏 订阅专栏 解锁全文 超级会员免费看
超人汪小建(seaboat)
关注
  • 5
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
BERT 词向量理解及训练更新
weixin_42357472的博客
01-15 3140
在预训练阶段中，词向量是在不断更新的，而在fine-tuning阶段中，词向量是固定不变的。理解就是输入字x，1个神经元对应了多个神经元，权重（即是这个x的词向量）就是1对多的连接层上的权重，相当于是个线性函数的连接层参数。在学习过程中，词表中每个词的词向量是通过输入的语料来学习的。假设输入层有1个神经元x=2，W是1*3的矩阵 [[1, 2, 3]]，b是3维的向量 [1, 1, 1]。训练后的词向量矩阵向量变化，因为只有1，2，3，4行测试数据，所以只更新的是这几行的向量。那么 y = Wx + b。
利用bert预训练模型生成句向量或词向量.zip
01-07
先下载相应的预训练模型 配置conf.py里边的路径 利用extract_sen_vec.py 里的 gen_sen_vec()函数生成句向量，gen_word_vec()生成词向量
中文词向量大全
weixin_41079550的博客
09-20 2494
# 中文词向量大全 https://github.com/Embedding/Chinese-Word-Vectors 里面有词向量下载（很多的类型） # 使用方法 下载后加载方式： unicode 字符哦！ import gensim from gensim.models import KeyedVectors model = KeyedVectors.load_word2vec_format...
NLP之中文词向量训练
HITzwx的博客
03-02 983
Word2vec Word2vec是Goolge发布的、应用最广泛的词嵌入表示学习技术，其主要作用是高效获取词语的词向量，目前被用作许多NLP任务的特征工程。Word2vec 可以根据给定的语料库，通过优化后的训练模型快速有效地将一个词语表达成向量形式，为自然语言处理领域的应用研究提供了新的工具，包含Skip-gram（跳字模型）和CBOW（连续词袋模型）来建立词语的词嵌入表示。Skip-gram的主要作用是根据当前词，预测背景词（前后的词）；CBOW的主要作用是根据背景词（前后的词）预测当前词。 1）Sk
谷歌ALBERT模型V2+中文版来了：之前刷新NLP各大基准，现在GitHub热榜第二
weixin_36896856的博客
01-05 479
点击上方“AI遇见机器学习”，选择“星标”公众号重磅干货，第一时间送达作者：十三、发自、凹非寺转自：量子位（QbitAI），未经允许不得二次转载比BERT模型参数小18倍，性能还超越了它...
5. BERT算法原理解析
weixin_30877755的博客
11-02 521
1. 语言模型 2. Attention Is All You Need（Transformer）算法原理解析 3. ELMo算法原理解析 4. OpenAI GPT算法原理解析 5. BERT算法原理解析 6. 从Encoder-Decoder(Seq2Seq)理解Attention的本质 1. 前言 在本文之前我们已经介绍了ELMo和GPT的两个成功的模型，今天给大家介绍google新发布的B...
Tensorflow—词向量
红叶谷 wsp_1138886114的博客
09-21 906
一、Tensorflow构建流程 1.1 Tensorflow的基本总结 1.2 Tensorflow构建流程运行—保存模型—加载模型 二、语言模型和词向量 1 随着模型不断更新 1.1 train文件中输入语句用index表示 1.2 模型文件中index向量转化为词向量 2 直接使用预先训练好的词向量如word2vec， glove 2.1 train文件中 2.2 m...
TensorFlow学习笔记3：词向量
lyb3b3b的专栏
06-19 3582
上篇博文讲了如何构建一个简单的CNN模型，并运行在MNIST数据集上。下面讲述一下如何在TensorFlow中生成词向量(Word Embedding)，使用的模型来自Mikolov et al。 本文的目录如下： 解释使用连续词向量的原因；词向量模型的原理及训练过程；在TensorFlow中实现模型的简单版本，并给出优化的方法； TensorFlow实现了两个版本的模型
从零开始使用tensorflow（2）——词向量
老笨妞
09-02 8153
前面记录了安装过程，现在开始使用词向量。 一．对tf的肤浅认识 首先是tf的基本总结（时间有限，认识比较肤浅）： (1). 使用图来表示计算； (2). 在session中执行图； (3). 使用tensor来表示数据； (4). Variable维护状态 (5). 使用feed和fetch可以为任意的操作赋值和获取数据。 看起来是不是蛮简单的，但其实用起来不容易（可能本人道行
词向量-基于tensorflow+word2vec实现中文词向量的训练.zip
最新发布
04-28
词向量 词向量_基于tensorflow+word2vec实现中文词向量的训练
text-cnn：嵌入Word2vec词向量的CNN中文文本分类
02-06
使用CNN和Word2vec进行文本分类本文是参考gaussic大牛的“ text-classification-cnn-rnn”后，...本实验的主要目是为了探索基于Word2vec训练的词向量嵌入CNN后，对模型的影响，实验结果得到的模型在验证集达到97.1％
# 文本分类任务实战 # 数据集构建：影评数据集进行情感分析 # 词向量模型：加载训练好的词向量或者自己训练 # 序列网络模型：
01-02
# 词向量模型：加载训练好的词向量或者自己训练 # 序列网络模型：训练好RNN模型进行识别 import os import warnings warnings.filterwarnings('ignore') import tensorflow as tf import numpy as np import pprint...
基于tensorflow完整的文本分类（NLP）
06-21
要求训练集和测试集分开存储，对于中文的数据必须先分词，对分词后的词用空格符分开，并且将标签连接到每条数据的尾部，标签和句子用分隔符\分开。具体的如下： * 今天 的 天气 真好\积极 #### 文件结构介绍 * ...
深度学习与Tensorflow2实战课程
07-21
章节8 递归神经网络与词向量原理解读 章节9 基于TensorFlow实现word2vec 章节10 基于RNN模型进行文本分类任务 章节11 tfrecord制作数据源 章节12 将CNN网络应用于文本分类实战 章节13 时间序列预测 章节14 自然语言...
基于TensorFlow的词向量算法
qq_40499451的博客
03-06 304
什么是Word2Vec Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型，它被大量地用在自然语言处理（NLP）中。 Word2Vec其实就是通过学习文本来用词向量的方式表征词的语义信息，即通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。我们从直观角度上来理解一下，cat这个单词和kitten属于语义上很相近的词，而dog和kitten则不是那么相近，iphone这个单...
【tensorflow2.0】32.词向量
weixin_39122088的博客
07-02 410
    词向量（Word embedding），又叫Word嵌入式自然语言处理（NLP）中的一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。 从概念上讲，它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。     生成这种映射的方法包括神经网络，单词共生矩阵的降维，概率模型，可解释的知识库方法，和术语的显式表示 单词出现的背景。     当用作底层输入表示时，单词和短语嵌入已经被证明可以提高NLP任务的性能，例如语法分析和情感分析。     在自然语言处理任务
bert获得词向量_Bert输入输出是什么
weixin_39934640的博客
11-20 5196
1. 模型的输入/输出 BERT模型的全称是：BidirectionalEncoder Representations from Transformer。从名字中可以看出，BERT模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的Representation，即：文本的语义表示，然后将文本的语义表示在特定NLP任务中作微调，最终应用于该NLP任务。煮个栗子，BERT模...
学习笔记TF018:词向量、维基百科语料库训练词向量模型
ahua2886的博客
06-03 234
词向量嵌入需要高效率处理大规模文本语料库。word2vec。简单方式，词送入独热编码(one-hot encoding)学习系统，长度为词汇表长度的向量，词语对应位置元素为1,其余元素为0。向量维数很高，无法刻画不同词语的语义关联。共生关系(co-occurrence)表示单词，解决语义关联，遍历大规模文本语料库，统计每个单词一定距离范围内的周围词汇，用附近词汇规范化数量表示每个词语。类...
使用双向LSTM训练词向量的代码
05-30
以下是使用双向LSTM训练词向量的Python代码示例： ```python import tensorflow as tf from tensorflow.keras.layers import Input, Embedding, Bidirectional, LSTM, Dense from tensorflow.keras.models import Model from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.preprocessing.sequence import pad_sequences # 构建模型 def build_model(vocab_size, embedding_dim, lstm_units): inputs = Input(shape=(None,)) x = Embedding(vocab_size, embedding_dim)(inputs) x = Bidirectional(LSTM(lstm_units))(x) outputs = Dense(embedding_dim, activation='linear')(x) model = Model(inputs=inputs, outputs=outputs) return model # 训练词向量 def train_word_embeddings(texts, embedding_dim=100, lstm_units=128, batch_size=64, epochs=10): # 构建 Tokenizer tokenizer = Tokenizer() tokenizer.fit_on_texts(texts) # 构建训练数据 sequences = tokenizer.texts_to_sequences(texts) padded_sequences = pad_sequences(sequences) # 构建模型 model = build_model(len(tokenizer.word_index) + 1, embedding_dim, lstm_units) model.compile(loss='mse', optimizer='adam') # 训练模型 model.fit(padded_sequences, padded_sequences, batch_size=batch_size, epochs=epochs) # 获取词向量 embeddings = model.layers[1].get_weights()[0] word_index = tokenizer.word_index word_embeddings = {word: embeddings[idx] for word, idx in word_index.items()} return word_embeddings ``` 使用方法： ```python texts = ['I like to eat apple', 'He hates to eat banana', 'She loves to eat orange'] word_embeddings = train_word_embeddings(texts) ``` 其中`texts`为训练文本，`word_embeddings`为训练得到的词向量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

超人汪小建(seaboat)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值