tensorflow处理文本时加载字典与保存字典

最新推荐文章于 2021-06-02 14:23:18 发布
最新推荐文章于 2021-06-02 14:23:18 发布
阅读量2.7k 收藏 1
点赞数
分类专栏： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/accumulate_zhang/article/details/80114189
版权 
在处理nlp数据时，通常将文本处理成词在字典中的序号组成的序列，在tensorflow中直接使用下面的函数
from tensorflow.contrib import learn
#加载模型，利用训练语料形成的字典
vocab_processor=learn.preprocessing.VocabularyProcessor.restore('vocab')
vocab_processor=learn.preprocessing.VocabularyProcessor(max_document_length=mean_document_length,min_frequency=5)
x=np.array(list(vocab_processor.fit_transform(x_text)))

accumulate_zhang
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tensorflow随笔-数据需要通过字典输入
The research on computer technolog
04-28 613
# -*- coding: utf-8 -*- import tensorflow as tf w1=tf.Variable(tf.random_normal([2,6],stddev=1)) w2=tf.Variable(tf.random_normal([6,1],stddev=1)) x=tf.placeholder(dtype=tf.float32,shape=(4,2),name="...
【TensorFlow深度学习】三、流量数据预处理（字符串、csv、DataFrame、字典、张量之间的转换）
最新发布
鹤子的一些知识共享
11-20 505
本节简单介绍了数据预处理的内容，主要是字符串、csv文件、DataFrame、字典、张量等数据格式之间的转换与处理。经过这一节，我们以将字符串文件格式化为张量为例，详细介绍了处理过程。
《一起来玩Tensorflow2》第一章 基本操作字典（tensor的计算、转换等）
Smileyan's blog
10-25 7072
这里写目录标题1. 安装与相关资料1.1 安装1.2 相关文档资料2. tensor 基础2.1 数据类型2.2 查看变量是不是 tensor2.3 转换为 tensor2.4 转换为 tensor 并改变数据类型2.5 数据类型转换2.6 tf.Variable（可优化参数）2.7 查看维度 1. 安装与相关资料 1.1 安装 环境说明： python3 pip 安装命令（以 2.3.0 版本为例）： pip install tensorflow==2.3.0 -i https://pypi.tuna
tensorflow做predict的几种方式
zh515858237的专栏
05-12 3745
https://stackoverflow.com/questions/46098863/how-to-import-an-saved-tensorflow-model-train-using-tf-estimator-and-predict-on
NLP工具——Gensim 模型及词向量文件的保存与加载
ling620的专栏
08-13 1万+
文章目录1、Gensim2、保存与加载2.1 模型的保存与加载保存模型加载模型2.2 词向量文件的加载与保存保存加载 1、Gensim 官网： gensim: Topic modelling for humans Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。支持包括TF-IDF, LSA, LDA, Word2Vec在内的多...
vocab生成
q_xiami123的博客
06-02 2342
在nlp或者asr任务中，通常都需要根据corpus创建词典，并将单词在词典中的位置进行映射。词典中词可以是单个字也可以是字符，需要根据具体应用进行处理，一般在端到端asr任务中，vocab中单位都是字。 首先我们拿到的标注文本一般是这样的 MDT_F2F_223_158.wav 反正，呃对还有两台平板，然后高中的时候学校不给带手机我们都借他的手机用，他的手机真的借遍了全班 MDT_F2F_223_159.wav 那会儿我有一次问他，我说我想借你的苹果四，他说哦，那台就 或者是json文件， 一个json
机器学习——文本预处理（基于TensorFlow）
yasin的技术博客
02-01 3430
文本预处理步骤 1. 标准化文本 对输入的文本进行统一的标准化，比如去掉文本中的HTML标签，或者去掉标点符号，或者大写转小写等，执行统一的标准化有助于后续的处理，比如分词。 下面对一段文本进行处理，去掉HTML标签，并将大写转为小写如下 标准化前：<p>I'm a boy, I like ML.</p> 标准化后：i'm a boy, i like ml. 2. 将文本切分成更小的单元（分词） 我们已经有了标准化后的句子了，但在将数据输入进神经网络模型之前，还需要做一些事情，即将
基于tensorflow 的中文语音识别模型
pelhans的博客
08-03 1万+
目前网上关于tensorflow 的中文语音识别实现较少，而且结构功能较为简单。而百度在PaddlePaddle上的 Deepspeech2 实现功能却很强大，因此就做了一次大自然的搬运工把框架转为tensorflow…. 简介 百度开源的基于PaddlePaddle的Deepspeech2实现功能强大，简单易用，但新框架上手有难度而且使用过程中遇到了很多bug，因此萌生了转成ten...
python字典快速保存于读取的方法
09-20
下面小编就为大家分享一篇python字典快速保存于读取的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
数据字典与处理逻辑(“数据”文档)共60张.pptx
12-02
数据字典与处理逻辑(“数据”文档)共60张.pptx
中科磐云比赛时的字典文本txt
03-30
护与渗透，具有分析、处理现场安全问题的能力，促进学生团队 协作实践能力，引导中等职业学校关注网络安全技术发展趋势和 产业应用方向，促进专业建设与教学改革；推进中职学校与相关 企业的合作，更好地实现工学...
python保存字典和读取字典的实例代码
09-19
主要介绍了python保存字典和读取字典的实例代码,通过代码给大家介绍了python 使用列表和字典存储信息的相关代码，需要的朋友可以参考下
Python字典案例：字典文本资源
12-29
字典资源文件，配合代码使用，内容格式如下： Africa n. 非洲 Aids n. 爱滋病 America n. 美洲 April n. 四月 Arab adj. 阿拉伯的\nn. 阿拉伯人
Tensorflow从文件读取数据
z轴的博客
11-22 3万+
TensorFlow程序读取数据一共有3种方法: 供给数据(Feeding)： 在TensorFlow程序运行的每一步， 让Python代码来供给数据。 从文件读取数据： 在TensorFlow图的起始， 让一个输入管线从文件中读取数据。 预加载数据： 在TensorFlow图中定义常量或变量来保存所有数据(仅适用于数据量比较小的情况)。 使用Tensorflow训练神经网络模型，首先要读...
简单的Tensorflow(3)：使用feed_dict字典填充
观月执白
11-29 1万+
tensorflow还提供字典填充函数，使输入和输出更为简单：feed_dict = {}。例如：需要吧8和2填充到字典中，就需要占位符tensorflow.placeholder()而非变量，input1 = tf.placeholder(tf.float32)，因为是一个元素不需要矩阵相乘，只要简单的乘法即可：tensorflow.multiply() 全部代码： import
tensorflow对字典排序
zuanfengxiao的博客
12-01 1073
按照value值降序排列： sorted(dict.items(),key=lambda k:k[1],reverse=True) 按照value值升序排序： sorted(dict.items(),key=lambda k:k[1],reverse=False)或者sorted(dict.items(),key=lambda k:k[1]) 按照key值降序排列： sorted(dic
tensorflow学习笔记——传入值之placeholder，feed_dict用法
manduner的博客
06-13 5756
描述 tensorflow中需要传入值时，要同时用到placeholder、feed_dict。 - placeholder定义输入值的类型，以及数据结构 - feed_dict，表示python中的字典（python中dist是字典，元素是键值对的存储模式），用于接收真实的输入值。 相关公式 矩阵乘法中的两个矩阵，以及输出结果为： [102131]×⎡⎣⎢310221⎤⎦⎥=[5...
TypeError: only integer scalar arrays can be converted to a scalar index
热门推荐
accumulate_zhang的博客
12-14 8万+
TypeError: only integer scalar arrays can be converted to a scalar index 关于这个错误，已经第二次遇到了。 上次遇到错误的时候，也就随便搞一搞就解决了，但是这次又碰到这个问题，然后不知道怎么解决了，然后按着正常思路又百度了一番。然而没有解决。 但是依稀上次遇到同样问题时记得也是在处理同样问题的时候
pythonz中有关字典的保存与读取
05-26
在Python中，可以使用pickle模块来保存和读取字典。下面是一个简单的例子： ```python import pickle # 要保存的字典 my_dict = {'name': 'Tom', 'age': 18, 'gender': 'male'} # 保存字典 with open('my_dict....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值