在使用tf.sparse_to_dense（）过程中遇到的一种问题及其解决办法

最新推荐文章于 2022-02-26 22:31:28 发布
最新推荐文章于 2022-02-26 22:31:28 发布
阅读量635 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41695397/article/details/96905585
版权

问题描述

笔者在使用tf.sparse_to_dense（）将标签生成one-hot的过程中遇到了如下问题：

在这里插入图片描述

解决方法

在遍历网上的相似问题并采用建议的解决方案后，发现上述问题依然存在。在经历长时间的思考后，最后笔者通过阅读cifar_input.py的源码发现cifar-10（100）数据集的输入格式被限定为二进制的格式，通过重新下载cifar-10（100）数据集问题得以解决。

在这里插入图片描述

又能愉快地跑网络了
深度学习从入门到入土
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Python】收集的高级函数、功能
小白兔的窝
07-18 4096
说明：本文更新顺序是从下到上，最新的函数更新在开头。 np.log log默认以e为底，log10, log2, log1p, emath.log dict对象的keys()和values()返回的值，只要之间无修改，则总是一一对应的。 搜dict的key， value顺序， 中文没搜到想要的结果。 英文答案链接：python-dictionary-are-keys-and-val...
tf.sparse_to_dense（）函数理解
qq_36411093的博客
12-29 1万+
今天看代码的时候看到一个陌生的函tf.sparse_to_dense(），看了很多博客感觉都没有解释到点子上，看了函数才有了一点理解，记录如下： import tensorflow as tf import numpy indices = tf.reshape(tf.range(0, 10 ,1), [10, 1]) labels=tf.expand_dims(tf.constant([0,2,3...
pytorch笔记：torch.sparse类
qq_40206371的博客
10-10 9767
1 构造稀疏矩阵 import torch i = torch.LongTensor([[0, 1, 1],[2, 0, 2]]) #row, col v = torch.FloatTensor([3, 4, 5]) #data torch.sparse.FloatTensor(i, v, torch.Size([2,3])).to_dense() #torch.Size ''' tensor([[0., 0., 3.], [4., 0., 5.]]) ''' 构造方法和
pytorch稀疏张量模块torch.sparse详解
zeeq的博客
02-26 1万+
  torch.sparse是一个专门处理稀疏张量的模块。通常，张量会按一定的顺序连续地进行存取。但是，对于一个存在很多空值的稀疏张量来说，顺序存储的效率显得较为低下。因此，pytorch推出了稀疏张量的处理模块。在这里，有意义的值被称为specified elements，而无意义的值（空值，通常为0，但是也可以是其他值）则被称为fill value。只有足够稀疏的张量使用这种方式进行存储才能获得更高的效率。    Sparse COO tensors 1 Coordinate format   这种格式
sparse_to_dense（）和sparse_tensor_to_dense（）的用法
liguandong
01-20 1万+
Sparsetensor(indices=[[0, 0], [1, 2]], values=[1, 2], dense_shape=[3, 4]) dense tensor: [[1, 0, 0, 0] [0, 0, 2, 0] [0, 0, 0, 0]] tensorflow 使用三个dense tensor来表达一个sparse tensor：indices、value、dense_...
tf.SparseTensor - 知乎1
08-03
使用 tf.sparse_tensor_to_dense 函数可以将稀疏矩阵转换为稠密矩阵： ``` tensor_value = tf.sparse_tensor_to_dense(ids) ``` 输出结果是一个 2x4 的矩阵： ``` [[0, 2, 0, 1] [0, 0, 1, 1]] ``` tf.Sparse...
cnn_tensorflow.rar_CNN_tensorflow_tensorflow cnn
09-15
卷积神经网络（Convolutional Neural Network，简称CNN）是深度学习领域中一种重要的神经网络结构，尤其在图像识别、计算机视觉任务中表现突出。TensorFlow是由Google开发的一个开源库，用于数值计算和大规模机器...
Tensorflow 利用tf.contrib.learn建立输入函数的方法
09-20
在TensorFlow中，`tf.contrib.learn`库提供了一种便捷的方式来构建机器学习模型，特别是对于数据预处理和输入管道的管理。本篇文章将详细介绍如何利用`tf.contrib.learn`中的`input_fn`方法来构建自定义的输入管道，...
一个很基础的Tf2.0学习教程，不需要你有tf或者keras基础，只需要有简单的python知识和一定的深度学习知识~.zip
最新发布
02-22
这是一种交互式的执行模式，使得每次操作都会立即执行，无需显式构建计算图。这对于调试和理解代码非常有帮助。你可以尝试以下代码来体验Eager Execution： ```python x = tf.constant(5) y = tf.constant(3) print...
Python-手势识别使用在TensorFlow中卷积神经网络实现
08-11
卷积神经网络（Convolutional Neural Networks，简称CNNs）是深度学习领域中的一种重要模型，尤其在图像处理任务上表现出色，如图像分类、物体检测、图像分割等。在这个项目中，我们将探讨如何利用Python和...
内存放不下？使用PyTables存储大型numpy数组
浅度寺
03-08 4863
最近需要提取100万张图像的深度特征，按照特征是4096维 float 格式计算，至少需要 1000000∗4096∗328∗10243≈15GB\frac{1000000 * 4096 * 32}{8 * 1024^3} \approx 15GB8∗102431000000∗4096∗32​≈15GB 的存储空间，内存存放是不太合理的。当我们需要处理这类内存存放不下的 numpy 数组时，分成...
成功解决 python 将稀疏矩阵转换成普通矩阵
littlehaes的博客
12-13 1万+
调用todense()方法即可, 如下面的示例, b是一个稀疏矩阵, 使用todense()方法将稀疏矩阵b转换成稠密矩阵c import scipy.sparse as sp import numpy as np a = np.array([[0,3,2],[0,4,5],[1,3,6],[1,5,7],[2,4,10]]) b = sp.coo_matrix(arg1=(a[:, 2], ...
Pandas 稀疏数据
W_H_M_2018的博客
04-06 463
当任何匹配特定值的数据(NaN/缺失值，尽管可以选择任何值)被省略时，稀疏对象被“压缩”。 一个特殊的SparseIndex对象跟踪数据被“稀疏”的地方。 这将在一个例子中更有意义。 所有的标准Pandas数据结构都应用了to_sparse方法 - import pandas as pd import numpy as np ts = pd.Series(np.random.randn(10...
【TensorFlow】tf.sparse_to_dense的用法
热门推荐
xf__mao的博客
11-27 3万+
TensorFlow是一个很坑的东西，在没有session运行的时候，所有数据都看不到结果，很难去print 而且TF还没有中文的API手册，很多东西很难体会 在这里记录一下比较难理解的几个方法的用法，以便后面用到 tf.sparse_to_dense(sparse_indices, output_shape, sparse_values, default_value, name=N
使用tf.tile()和tf.sparse_to_dense()构建多标签
知行_那片天
04-22 682
使用tf.tile()和tf.sparse_to_dense()构建多标签 多标签分类时需要构建类似one-hot的多标签y_hot,在tensorflow中可以用tf.tile()和tf.sparse_to_dense()构建 tf.tile() tf.tile()应用于需要张量扩展的场景，具体说来就是： 如果现有一个形状如[width, height]的张量，需要得到一个基于原张量的，形状如[...
Tensorflow－tf.sparse_to_dense()
ZerinHwang
01-09 1148
对tf.sparse_to_dense()的参数concated的理解： batch_size = tf.size(labels) labels = tf.expand_dims(labels, 1) indices = tf.expand_dims(tf.range(0, batch_size, 1), 1) concated = tf.concat([indices, labels],...
学习tf.sparse_to_dense函数（代码实现）
涵默的博客
05-01 5386
学习tf.sparse_to_dense函数（代码实现）
sklearn中TF-IDF方法的理解
Suprit's blog
12-28 3230
sklearn中TF-IDF方法的理解 TF-IDF是对于一个文本特征提取非常有用的办法。进行特征选择，对文本分类具有重要的意义。特征选择就是要想办法选出那些最能表征文本含义的词组元素 。特征选择不仅可以降低问题的规模，还有助于分类性能的改善，选取不同的特征对文本分类系统的性能有非常重要的影响。 采用TF-IDF进行特征提取，可以得到每句话的一个向量，其中每一个单词得到了一个对应的权值，用来进行接下来的训练等任务。 ????机器学习训练需要特征向量，特征向量要有权值，没有权值，只有一堆文字，怎么进行？所以
SparseTensor
一梦南柯
09-10 1万+
TensorFlow使用三个dense tensor来表达一个sparse tensor：indices、values、dense_shape。 假如我们有一个dense tensor： [[1, 0, 0, 0] [0, 0, 2, 0] [0, 0, 0, 0]] 那么用SparseTensor表达这个数据对应的三个dense tensor如下： indices：[[0, 0...
import numpy import tensorflow as tf import matplotlib.pyplot as plt fashion =tf.keras.datasets.fashion_mnist (x_train,y_train),(x_test,y_test)=fashion.load_data() plt.figure(figsize=(30,30)) for i in range(30): plt.subplot(3,10,i+1) #print("第一张图片****************") #print(x_train[0]) #print("第一张图片对应的数字******************") #print(y_train[0]) plt.imshow(x_train[i],cmap=plt.cm.gray_r) #plt.show() model=tf.keras.models.Sequential([ #把二维数据转成一位数据 tf.keras.layers.Flatten(input_shape=(28,28)), #定义神经网络全连接层，参数是神经元个数和使用的激活函数 tf.keras.layers.Dense(128,activation='relu'), #设置遗忘率 tf.keras.layers.Dropout(0.2), #定义输出（输出10种类型，softmax实现分类的概率分布 tf.keras.layers.Dense(10,activation='softmax') ]) #优化模型 model.compile(#选择优化器 optimizer='adam', #定义损失函数 loss='sparse_categorical_crossentropy', #模型的评估 metrics=['accuracy']) #训练模型(训练集和次数） model.fit(x_train,y_train,epochs=5) #验证模型（测试集） model.evaluate(x_test,y_test) #测试集测试 class_names=['上衣','裤子','套头衫','连衣裙','外套','凉鞋','衬衫','运动鞋','包包','短靴'] imgDate=(numpy.expand_dims(x_test[0],0)) predictions_single=model.predict(imgDate) max=numpy.argmax(predictions_single) print(class_names[max]) plt.imshow(x_test[0],cmap=plt.cm.gray_r) plt.show()
06-10
这段代码是使用Fashion-MNIST数据集训练一个基本的神经网络模型，并使用该模型进行图像分类。如果你想将其转变为图像人脸识别，你需要进行以下步骤： 1. 首先，你需要收集人脸图像数据集。你可以使用已有的人脸数据集，如LFW、CelebA或CASIA等，或者自己收集数据集。 2. 对于人脸图像数据集，你需要进行数据预处理和增强，以提高模型的性能。例如，你可以使用OpenCV或PIL库对图像进行裁剪、缩放、旋转、翻转等操作，以及使用数据增强技术，如随机裁剪、旋转、亮度调整等。 3. 接下来，你需要使用卷积神经网络（CNN）来训练你的人脸识别模型。你可以使用Keras或PyTorch等深度学习框架来实现。 4. 在训练模型之前，你需要将数据集分成训练集、验证集和测试集。训练集用于模型的训练，验证集用于模型的调优，测试集用于评估模型的性能。 5. 接着，你需要定义一个CNN模型，并将其编译。例如，你可以使用多个卷积层和池化层，以及全连接层和输出层。 6. 然后，你需要使用训练集来训练模型，并使用验证集来调整模型的超参数。当模型在验证集上的性能不再提高时，就可以停止训练。 7. 最后，你可以使用测试集来评估模型的性能，并进行人脸识别。 需要注意的是，人脸识别是一个复杂的任务，需要深入了解相关知识和技术才能进行。此处提供的步骤只是一个大致的指南，具体实现还需要根据你的具体情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值