tensorflow2.0中，tensor类型数据到pandas的DataFrame类型

最新推荐文章于 2024-07-23 13:31:07 发布
最新推荐文章于 2024-07-23 13:31:07 发布
阅读量4.6k 收藏 6
点赞数 1
分类专栏： 数据处理 文章标签： tensorflow 数据分析 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44560088/article/details/105833636
版权
在TensorFlow 2.0中，当需要将网络预测结果从tensor格式导出到Excel时，可以通过Numpy的narray数组进行转换。流程为：tensor -> narray -> DataFrame。这种转换方式方便了数据的进一步分析和处理。
摘要由CSDN通过智能技术生成

tf2.0中，网络的预测结果往往是tensor(类型)。tensor虽然也有一系列大操作，但是不便导出到excel。有没有一种操作可以将tensor转pandas的DataFrame呢？
在tf2.0，可以借助Numpy 的narray数组作为媒介。
t e n s o r ⟶   n a r r a y ⟶   D a t a F r a m e tensor \longrightarrow\ narray \longrightarrow\ DataFrame tensor⟶ narray⟶ DataF

最低0.47元/天 解锁文章
帅兄心安否
关注
专栏目录
python中tensorflow实现二分类_简洁明了的tensorflow2.0教程——实现鸢尾花分类
weixin_39875419的博客
12-19 605
通过本文你可以学会神经网络最基本的用法，可以对tensorflow用法有初步的了解，实现神经网络入门，适用于有着在机器学习/或者深度学习有着理论基础，拥有一定python编程基础但是对神经网络实践缺少经验的coder，通过阅读并且自己完成本篇博客中的代码小白也能学会如何利用神经网络来实现简单的分类任务。这一讲源码在我的github，地址：https://github.com/JohnLeek/Te...
tensorflow2.0训练目标检测模型
weixin_48672949的博客
07-21 3013
1.环境搭建与软件安装 操作系统：win10 64位 内存 ：8G Anaconda3-5.0.1 (自带python3.6.5) tensorflow2.5.0 1.1 Anaconda3-5.0.1版本安装包下载、安装流程、环境配置 参考https://www.freesion.com/article/93321279940/ 验证：点开菜单栏—>Anaconda3—>Anaconda prompt—>以管理员身份运行—>输入python，如下图所示，Anacon.
dataframe to tensor
aoheng0603的博客
03-30 1102
https://stackoverflow.com/questions/42286972/converting-from-pandas-dataframe-to-tensorflow-tensor-object 转载于:https://www.cnblogs.com/HITSZ/p/8679206.html
tensor数据类型转化总结
m0_47163076的博客
03-20 1443
一，转化 tensor转list tensor1.cpu().numpy().tolist() dataframe转化为数组 df.values # series 也是这样的 列表转化为数组 np.array(list1) 数组转化为list array1.tolist() 转化为字典 norm,stru 是两个list,前面的作为key，后面的作为值 dict(zip(norm,stru)) 二，reverse numpy reverse # 创建向量 impot numpy as np a =
tensorflow数据预处理----学习笔记(三)
最新发布
zhangkexin_z的博客
07-23 173
本章使用pandas预处理原始数据，并将原始数据转换为张量格式。首先需要先安装pandas。
数据类型tensor、list、numpy和DataFrame间相互转换 与 pandas csv文件先写后读
又菜又爱玩
09-02 2362
tensor、numpy、list和DataFrame之间数据类型转换；pandas csv文件读写操作，先写后读问题
如何从tensorflow2的数据集中获得numpy或者pandas数据
星空下
12-20 1055
当我们使用tensorflow2 时， 很多数据是直接从晚上下载的，tensorflow 的数据集，当我们想看某个的大小或者想画图显示时，需要首先转成numpy array数据，下面是将tensorflow2数据集转成numpy array的方法： import tensorflow_datasets as tfds # 导入tensorflow dataset train = tfds.load(name="mnist", split="train") # 这里导入了MNIST的训练集，数据格式就是t
基于Tensorflow实现一个Transformer翻译器
04-27 6764
Transformer是谷歌在2017年的一篇论文"Attention is all you need"提出的一个seq2seq的模型架构，其创造性的提出了自注意力的思想，可以很好的表达序列中各个单词之间的相互注意力关系。这个模型在NLP领域取得了巨大的成功。此外这个模型架构在最近几年也在CV领域取得了令人瞩目的进展，在图像识别，目标检测等方面都达到或超过CNN模型的性能。因此Transformer可以说是人工智能领域最近最值得关注和学习的一个架构。目前有网上已经有很多文章详细解读了Transformer的
简洁明了的tensorflow2.0教程——实现鸢尾花分类
JohnLeeK的博客
05-24 4126
通过本文你可以学会神经网络最基本的用法，可以对tensorflow用法有初步的了解，实现神经网络入门，适用于有着在机器学习/或者深度学习有着理论基础，拥有一定python编程基础但是对神经网络实践缺少经验的coder，通过阅读并且自己完成本篇博客中的代码小白也能学会如何利用神经网络来实现简单的分类任务。这一讲源码在我的github，地址：https://github.com/JohnLeek/Tensorflow-study，源码文件为day1_iris_classfiction.py,觉得不错可以给个St
tensorflow 2.0+ 基于预训练BERT模型 的文本分类
xiaoniu0991的博客
08-26 8912
简介 基于transformers的语言模型在许多不同的自然语言处理(NLP)基准任务测试上都取得了很大进展。迁移学习与大规模的transformers语言模型训练的结合正在成为现代NLP的一个标准。在这篇文章,我们对transformers体系结构和文本分类问题做一些必要的理论介绍。然后，我们将演示预训练BERT模型在文本分类任务的微调过程，这里运用的是TensorFlow 2.0+的 Keras API。 文本分类–问题及公式 一般来说, 分类是确定新样本的类别问题。我们有数据集D，在文档中包含文本
tensorflow2建模--数据框dataframe转tensor进行建模
yftadyz的博客
06-30 3103
这里写自定义目录标题摘要实验说明方法介绍如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 摘要 使用tensorflow2建立深度学习模型的第一步，往往是将我们加工处理好的pandas的dataframe转化为tensor。按照官方指南的介绍，最佳转化方法是将 pd.Dat
数据处理之Pandas读写数据
weixin_61279829的博客
01-08 977
本文作为个人的学习笔记和代码模板整理，仅供参考。主要包括：pandas基本数据结构、pandas数据基本操作、操作案例。
随便记记，一些tensor / numpy / pandas的操作【遇到新的了随缘更新】
weixin_41804479的博客
10-25 445
2、ndarray多个维度同时插入，元素添加操作，用在计算预测结果的时候（这个真的，我为难了好久，结果发现可以直接插入，哭😭）（参考。我是用在测试的时候，使用预测结果与全部特征嵌入进行计算时，将目标特征嵌入扩充维度并复制batch_size 份（参考。1、tensor复制扩充（扩充维度+复制），例如从[1]变成 [[1], [1], [1] ...]
[开发技巧]·TensorFlow中numpy与tensor数据相互转化
weixin_30360497的博客
03-30 4305
[开发技巧]·TensorFlow中numpy与tensor数据相互转化 个人主页–>https://xiaosongshine.github.io/ - 问题描述 在我们使用TensorFlow进行深度学习训练时，很多时候都是与Numpy数据打招呼，例如我们csv或者照片数据等。但是我们都知道，TensorFlow训练时都是使用Tensor...
将Pandas 的dataframe 转换为tensor
qq_42696330的博客
10-11 2319
tips
pandas numpy 转换为Tensor
m0_52392182的博客
10-08 1215
pandas numpy 转换为Tensor
tensor转换为list_tensor numpy.array panda.dataframe list等数据类型的转换
weixin_32742673的博客
02-11 2534
TensorFlow将给定值转换为张量tf.convert_to_tensor此函数将各种类型的 Python 对象转换为 Tensor 对象.它接受 Tensor 对象,numpy 数组,Python 列表和 Python 标量convert_to_tensor (value ,dtype=None ,name=None ,preferred_dtype=None)输入格式类型importnum...
总结 | DataFrame、Series、array、tensor的创建及相互转化
一行玩python
09-29 2729
大家好，我是一行最近在入门图像识别，自然也会用到深度学习框架，也接触到了一个新的数据结构——tensor(张量)。除此之外，也有一些很常用的数据结构，比如DataFrame、Series...
array，list，tensor，Dataframe，Series之间互相转换总结
热门推荐
雷恩Layne
08-13 1万+
一、前言 对于在Deep Learning的学习中总会有几个数据类型的转换，这次想把这些常用的转换做一个总结，方便以后看。 这些主要包括：Dataframe、Series(pandas), array(numpy), list, tensor(torch) 二、定义 2.1 Dataframe和Series 这里简单介绍一下这两个结构。Dataframe创建的方式有很多种，这里不赘述了。以下举个例子，因为我们这里要讲的是和array等的转换，这里全都用数字型的元素。 对于dataframe来说，我们打印出
用Python的TensorFlow2.0将波士顿房价数据集分为训练集，验证集和测试集（6:2:2），进行Tensorflow2.0的数据加载、线性回归模型的搭建、线性回归模型的交叉验证、模型保持和新数据预测
05-05
好的，以下是完整的代码实现： ```python import numpy as np import pandas as pd import tensorflow as tf from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 加载波士顿房价数据集 boston = load_boston() # 将数据集转化为DataFrame格式 boston_df = pd.DataFrame(boston.data, columns=boston.feature_names) boston_df['PRICE'] = boston.target # 数据集标准化处理 scaler = StandardScaler() boston_df_scaled = scaler.fit_transform(boston_df) # 划分训练集、验证集和测试集（6:2:2） X_train, X_test, y_train, y_test = train_test_split(boston_df_scaled[:, :-1], boston_df_scaled[:, -1], test_size=0.2, random_state=42) X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.25, random_state=123) # 构建TensorFlow2.0数据管道 train_dataset = tf.data.Dataset.from_tensor_slices((X_train, y_train)) train_dataset = train_dataset.shuffle(buffer_size=1024).batch(64) val_dataset = tf.data.Dataset.from_tensor_slices((X_val, y_val)) val_dataset = val_dataset.batch(64) test_dataset = tf.data.Dataset.from_tensor_slices((X_test, y_test)) test_dataset = test_dataset.batch(64) # 构建线性回归模型 class LinearRegression(tf.keras.Model): def __init__(self): super(LinearRegression, self).__init__() self.dense = tf.keras.layers.Dense(units=1) def call(self, inputs): return self.dense(inputs) # 初始化模型、损失函数、优化器和评估指标 model = LinearRegression() loss_fn = tf.keras.losses.MeanSquaredError() optimizer = tf.keras.optimizers.Adam(learning_rate=0.01) metric = tf.keras.metrics.MeanSquaredError() # 定义交叉验证函数 def cross_validate(model, dataset, loss_fn, metric): losses = [] metrics = [] for x, y in dataset: y_pred = model(x) loss = loss_fn(y, y_pred) losses.append(loss) metric.update_state(y, y_pred) return tf.reduce_mean(losses), metric.result().numpy() # 训练模型 n_epochs = 50 best_loss = np.inf for epoch in range(n_epochs): for x, y in train_dataset: with tf.GradientTape() as tape: y_pred = model(x) loss = loss_fn(y, y_pred) gradients = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(zip(gradients, model.trainable_variables)) # 在验证集上进行交叉验证 val_loss, val_metric = cross_validate(model, val_dataset, loss_fn, metric) if val_loss < best_loss: # 保存最优模型 best_loss = val_loss model.save_weights('best_model.h5') print('Epoch [{}/{}], Train Loss: {:.4f}, Val Loss: {:.4f}, Val Metric: {:.4f}' .format(epoch+1, n_epochs, loss.numpy(), val_loss, val_metric)) # 加载最优模型 model.load_weights('best_model.h5') # 在测试集上进行预测 test_loss, test_metric = cross_validate(model, test_dataset, loss_fn, metric) print('Test Loss: {:.4f}, Test Metric: {:.4f}'.format(test_loss, test_metric)) ``` 以上代码实现了以下内容： 1. 加载波士顿房价数据集，并将其转化为DataFrame格式。 2. 对数据集进行标准化处理，并将其划分为训练集、验证集和测试集（6:2:2）。 3. 使用TensorFlow2.0的数据管道构建训练集、验证集和测试集的输入。 4. 构建线性回归模型，并初始化模型、损失函数、优化器和评估指标。 5. 定义交叉验证函数，用于在验证集上进行交叉验证。 6. 训练模型，并在每个epoch结束后在验证集上进行交叉验证，以获取最优模型。 7. 加载最优模型，并在测试集上进行预测，输出测试集的损失和评估指标。 注意：在使用TensorFlow2.0的数据管道时，需要将数据集划分为输入和输出两个部分，即`(X_train, y_train)`和`(X_val, y_val)`，并在`tf.data.Dataset.from_tensor_slices()`函数中传入这两个部分。在训练模型时，需要使用`GradientTape`记录损失函数对模型参数的梯度，并使用`apply_gradients()`方法更新模型参数。在交叉验证函数中，需要使用`update_state()`方法更新评估指标的状态，并使用`result().numpy()`方法获取评估指标的数值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值