TensorFlow
文章平均质量分 96
TensorFlow
一只工程狮
对于深度学习较为感兴趣,研究范围包括但不限于图像分类、目标检测、图像分割、视频异常检测、动作识别、AI部署与优化加速等
展开
-
TensorFlow2.X——读取tfrecord文件数据应用到tf.Keras模型中
读取tfrecord文件数据应用到tf.Keras模型中代码示例:#tfrecord文件展示pprint.pprint(train_tfrecord_filenames)pprint.pprint(vaild_tfrecord_filenames)pprint.pprint(test_tfrecord_filenames)[‘generate_tfrecords\train_000...原创 2020-03-16 13:38:43 · 2437 阅读 · 21 评论 -
TensorFlow2.X——从csv文件中读取数据生成tfrecord文件
从csv文件中读取数据生成tfrecord文件代码示例:import tensorflow as tfimport os import pprintimport numpy as np#读取csv文件将其转为tfrecord文件source_dir = "./customize_generate_csv/"print(os.listdir(source_dir))[‘tes...原创 2020-03-16 12:13:46 · 1416 阅读 · 0 评论 -
TensorFlow2.X——TFRecord基础API的使用
TFRecord基础API的使用首先介绍一下tfrecord的文件组成格式:tfrecord是有example组成,example是由features组成,而features是由feature组成。#tfrecord 文件格式# --> tf.train.Example : 文件由Example组成# --> tf.train.Features -> { feat...原创 2020-03-13 14:57:30 · 501 阅读 · 0 评论 -
TensorFlow2.X——tf.io.decode_csv读取csv文件并与tf.keras结合使用
tf.io.decode_csv读取csv文件并与tf.keras结合使用首先介绍几个自己之前博客没有写到的函数:一、tf.data.Dataset.map() : 将数据映射到函数上得到相对应的数据集map( map_func, num_parallel_calls=None )参数:map_func : 映射的函数;num_parallel_calls=None :...原创 2020-03-13 09:43:52 · 784 阅读 · 1 评论 -
TensorFlow2.X——读取CSV文件(tf.io.decode_csv()使用 )
读取CSV文件并解析(tf.io.decode_csv()使用 )要将csv文件读取并解析可以分为两个部分:读取csv存储位置形成一个文件名的dataset;从这个dataset中读取csv文件并解析,最后将读取的数据合并形成一个整个的dataset。使用到的一些函数的介绍:1.tf.data.Dataset.list_files( ): 按要求列出匹配的文件。参数:lis...原创 2020-03-11 10:33:09 · 5488 阅读 · 0 评论 -
将数据保存为CSV形式存储
将数据保存为CSV形式存储可以使用pandas.Dataframe.to_csv()函数来储存数据为csv文件。以下展示为自定义函数实现数据存储为csv文件:函数标注已经写在代码中:代码示例:import numpy as npimport sklearn import pandas as pd import os import sys import tensorflow ...原创 2020-03-09 11:19:30 · 11399 阅读 · 0 评论 -
TensorFlow2.X——from_tensor_slices()、repeat()、batch()、interleave()使用
from_tensor_slices()、repeat()、batch()、interleave()使用一、from_tensor_slices()使用from_tensor_slices( tensors)在最简单的情况下,tf.data.Dataset.from_tensor_slices函数接收一个array并返回一个表示array切片的tf.data.Dataset。例如,...原创 2020-03-07 14:50:49 · 1478 阅读 · 1 评论 -
TensorFlow2.X—tf.GradientTape()结合tf.Keras使用
tf.GradientTape()结合Keras使用如何在tf.keras中自定义梯度下降,主要是我们需要更改模型中的model.fit部分,我们需要明白模型在训练的时候都干了那些事情。首先我们需要设置模型需要训练多少个epoch;再者我们需要确定batch_size的大小已确定每次便利一遍训练样本需要运行几次;接下来就是求导,运行梯度下降,更新函数;最后验证验证集样本。这里有一个...原创 2020-03-07 10:04:34 · 1615 阅读 · 0 评论 -
tf.reduce_mean()函数解析
tf.reduce_mean()函数解析tf.reduce_mean()函数用于计算张量tensor沿着指定的数轴(tensor的某一维度)上的平均值,主要用作降维或者计算tensor(图像)的平均值。tf.reduce_mean( input_tensor, axis=None, keep_dims=False, name=None, reduction_indices=N...转载 2020-03-07 09:26:21 · 3861 阅读 · 0 评论 -
TensorFlow2.X——tf.GradientTape() && Optimziers结合使用
tf.GradientTape() && Optimzier结合使用==一、tf.GradientTape() ==首先讲解一下tf.GradientTape() 中的参数:tf.GradientTape( persistent=False, watch_accessed_variables=True)persistent: 布尔值,用来指定新创建的gradi...原创 2020-03-03 11:04:14 · 877 阅读 · 0 评论 -
TensorFlow2.X——函数签名&&图操作
函数签名&&图操作一、函数签名函数签名由函数原型组成。它告诉你的是关于函数的一般信息,它的名称,参数,它的范围以及其他杂项信息。我们使用input_signature对tf.function修饰的函数进行数字签名;tf.TensorSpec() :#TensorSpec : 描述一个张量。tf.TensorSpec ( shape, dtype=tf.dty...原创 2020-03-02 13:52:34 · 2103 阅读 · 0 评论 -
TensorFlow2.X——tf.function && Autograph介绍以及使用
tf.function && Autograph介绍以及使用要获得最佳性能并使模型可在任何地方部署,可以使用tf.function从程序中构建图。 因为有AutoGraph,可以使用tf.function构建高效性能的Python代码。一、tf.function是将函数编译为可调用的TensorFlow图。1.tensorflow计算图计算图是对有向图的表示,主要包含...原创 2020-03-02 09:39:53 · 1486 阅读 · 0 评论 -
TensorFlow2.X——子类以及lambda分别实现自定义DenseLayer层次
子类以及lambda分别实现自定义DenseLayer层次1.在介绍子类继承layer层自定义层次前,介绍两个查看参数的方法。layer.variables 可以查看层次中的变量layer.trainable_variables 可以查看可训练的变量示例:import tensorflow as tflayer = tf.keras.layers.Dense(100, input...原创 2020-02-24 09:36:55 · 2142 阅读 · 0 评论 -
TensorFlow2.X——自定义损失函数
TensorFlow2.X——自定义损失函数自定义损失函数只需要定义一个函数,并在compile的时候调用该自定义损失函数即可。示例:自定义一个均方根损失函数:#自定义损失函数def customized_mse(y_true, y_pred): return tf.reduce_mean(tf.square(y_pred - y_true))编译函数:#编译compile...原创 2020-02-24 07:59:56 · 1930 阅读 · 0 评论 -
TensorFlow2.x——sparse_tensor & tf.variable介绍
sparse_tensor & tf.variable介绍1.sparse_tensor介绍稀疏矩阵参数介绍:indices: 一个二维的有数据值的位置.values:每个位置对应的值.dense_shape: 矩阵的shape.示例:引用必要的函数库import tensorflow as tf import numpy as np#sparse tensor...原创 2020-02-23 10:59:44 · 1197 阅读 · 0 评论 -
TensorFlow2.x——strings & ragged_tensor 讲解
strings & ragged_tensor 讲解本文只是简略介绍其中的一些方法,更为详细的API应用请参考官文文档,链接:https://tensorflow.google.cn/versions/r2.0/api_docs/python代码示例:引用函数库import tensorflow as tfimport numpy as np #strings t...原创 2020-02-22 13:33:57 · 1306 阅读 · 0 评论 -
tensorflow2.x——tf.constant()函数介绍和示例
tf.constant()函数介绍和示例tf.constant(value, shape, dtype=None, name=None)释义:生成常量value,值shape,数据形状dtype,数据类型name,名称1.示例:# Constant 1-D Tensor populated with value list.tensor = tf.constant([1, 2,...原创 2020-02-22 12:33:53 · 3851 阅读 · 0 评论 -
封装Keras模型,使用skleran实现超参数随机随机搜索
封装Keras模型,使用skleran实现超参数随机随机搜索本文展示如何使用RandomizedSearchCV进行超参数随机搜索RandomizedSearchCV1.将tf.keras.models转化为sklearn的model2.定义参数集合3.搜索参数相关的参数注释已经展示在代码中1.引用函数库import matplotlib as mplimport matpl...原创 2020-02-22 10:33:12 · 1098 阅读 · 0 评论 -
随机搜索RandomizedSearchCV原理
随机搜索RandomizedSearchCV原理本文链接:https://blog.csdn.net/qq_36810398/article/details/86699842一、问题描述及代码示例(1)超参数优化也就是常说的调参,python-sklearn里常用的有GridSearchCV和RandomizedSearchCV可以用。其中GridSearchCV的原理很简明,就是程序去...转载 2020-02-20 13:46:42 · 4017 阅读 · 0 评论 -
手动实现超参数搜索
手动实现超参数搜索以搜索学习率(learning_rate)为例.代码示例:import matplotlib as mplimport matplotlib.pyplot as plt %matplotlib inline #为了能在notebook中显示图像import numpy as npimport sklearn import pandas as pd ...原创 2020-02-20 13:14:31 · 287 阅读 · 0 评论 -
wide&deep模型的多输入和多输出
wide&deep模型的多输入和多输出在进行多输入与多输出的时候,一定要注意shape的类型要对应下面给出一个多输入和多输出的示例:import matplotlib as mplimport matplotlib.pyplot as plt %matplotlib inline #为了能在notebook中显示图像import numpy as npimport...原创 2020-02-19 11:15:20 · 775 阅读 · 0 评论 -
子类API实现wide&deep模型——网络层构建
子类API实现wide&deep模型——网络层构建以下代码展示如何用子类API实现wide&deep模型的网络层的构建,数据是使用的sklearn中的加州房价预测数据集。wide以及deep模型使用同样的输出。代码展示:class WideDeepModel(keras.models.Model): def __init__(self): supe...原创 2020-02-18 10:32:43 · 259 阅读 · 0 评论 -
函数API实现wide&deep模型
函数API实现wide&deep模型整个的模型搭建在以下代码中显示并标注了注释。import matplotlib as mplimport matplotlib.pyplot as plt %matplotlib inline #为了能在notebook中显示图像import numpy as npimport sklearn import pandas as ...原创 2020-02-17 15:24:42 · 335 阅读 · 0 评论 -
wide & deep模型
推荐系统在电商等平台使用广泛,这里讨论wide&deep推荐模型,初始是由google推出的,主要用于app的推荐。概念理解Wide & Deep模型,旨在使得训练得到的模型能够同时获得记忆(memorization)和泛化(generalization)能力:记忆(memorization)即从历史数据中发现item或者特征之间的相关性。泛化(generalizat...原创 2020-02-17 14:00:50 · 931 阅读 · 0 评论 -
TensorFlow2.x——批归一化(BatchNormalization)、droupout
批归一化(BatchNormalization)、droupoutTensorFlow已经将这两个函数集成在layers层中,因此我们只要在构建网络层中调用相应的函数即可。代码示例:model.add(keras.layers.BatchNormalization())model.add(keras.layers.AlphaDroupout(rate=0.5))网络层构建示例:#使...原创 2020-02-17 11:07:09 · 1512 阅读 · 0 评论 -
TensorFlow2.x——深度深度神经网络(DNN)搭建
深度深度神经网络(DNN)搭建深度神经网络的搭建,其实与一般的网络搭建类似,只不过在构成网络层数的时候layer层更多,一下给出一个构件layer的一个示例,其它层构件请参考我之前的博客,链接:https://blog.csdn.net/qq_40913465/article/details/104249124layer层网络构建代码示例:#使用序贯模型Sequential tf.ker...原创 2020-02-17 10:23:59 · 1663 阅读 · 0 评论 -
TensorFlow2.x——回归模型(regression)搭建
回归模型(regression)搭建回归模型是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。这种技术通常用于预测分析,时间序列模型以及发现变量之间的因果关系。例如,司机的鲁莽驾驶与道路交通事故数量之间的关系,房价预测等。代码示例:import matplotlib as mplimport matplotlib.pyplot as plt %matplo...原创 2020-02-15 14:40:57 · 1219 阅读 · 3 评论 -
TensorFlow2.x——回调函数(callbacks)(TensorBoard、EarlyStopping、ModelCheckPoint)
回调函数(callbacks)(TensorBoard、EarlyStopping、ModelCheckPoint)本文主要介绍tf.Keras.callbacks中的三种回调函数:TensorBoard、EarlyStopping、ModelCheckPoint。TensorBoard:是Tensorflow自带的一个强大的可视化工具,也是一个web应用程序套件,它通过将tensor...原创 2020-02-13 14:43:47 · 3720 阅读 · 0 评论 -
win下怎么查看tensorboard
win下怎么查看tensorboard在进行模型训练时,我们有时会使用回调函数tensorboard来可视化数据,本文介绍了在保存tensorboard运行文件后,该如何在win下查看可视化界面。第一种方法:如果你安装了Anaconda,可以直接启动anaconda控制台窗口代码示例:运行命令:tensorboard --logdir= 保存文件的地址(图中绿色为我保存的文件地址...原创 2020-02-13 13:40:27 · 3888 阅读 · 4 评论 -
Tensorflow2.0报错:ProfilerNotRunningError: Cannot stop profiling. No profiler is running.
Tensorflow2.0报错:ProfilerNotRunningError: Cannot stop profiling. No profiler is running.这个是TensorFlow的一个在win下的bug。 linux应该没这个问题。解决方法:将logdir用os.path.join包装一下logdir = os.path.join(‘logs’, current_t...原创 2020-02-13 11:02:53 · 891 阅读 · 0 评论 -
TensorFlow2.x——数据归一化(sklearn.preprocessing.StandardScaler)
数据归一化(sklearn.preprocessing.StandardScaler)数据归一化能够很好的加速模型的训练,并提高模型的准确度,本篇主要介绍sklearn中的数据预处理方法,当然TensorFlow中也有预处理方法,tf.nn.l2_normalize。本文介绍的skleran中数据预处理的公式为: x‾=x−μδ\overline{x} = \cfrac{x-\mu}{\...原创 2020-02-12 10:36:32 · 3934 阅读 · 0 评论 -
TensorFlow2.0——模型构建
模型构建:Keras有两种类型的模型,序贯模型(Sequential)和函数式模型(Model),函数式模型应用更为广泛,序贯模型是函数式模型的一种特殊情况。a)序贯模型(Sequential):单输入单输出,一条路通到底,层与层之间只有相邻关系,没有跨层连接。这种模型编译速度快,操作也比较简单b)函数式模型(Model):多输入多输出,层与层之间任意连接。这种模型编译速度慢。引用:h......原创 2020-02-10 19:23:01 · 3967 阅读 · 2 评论 -
TensorFlow2.0——数据的读取与展示(fashion_mnist)
数据的读取与展示首先介绍一下Fashion_MNIST数据集,它是7万张灰度图像组成,可以分成10个类别.每个灰度图像都是28*28像素的图像.我们将使用其中的6万张进行训练网络,另外的1万张来评估准确率.1.引用一些函数库便于结果展示import matplotlib as mplimport matplotlib.pyplot as plt %matplotlib inline ...原创 2020-02-10 11:00:00 · 2200 阅读 · 0 评论 -
Tensorflow-keras简介
Tensorflow-keras简介1.tf-keras和keras联系基于同一套APIkeras程序可以通过改导入方式轻松转为tf.keras程序反之可能不成立,因为tf.keras有其他特性相同的JSON和HDF5模型序列化格式和语义2.tf-keras和keras区别tf.keras全面支持eager mode只是用keras.Sequential和keras.M...原创 2020-02-10 10:39:04 · 485 阅读 · 0 评论 -
tensorflow2.0安装
1.安装CPU版本:安装cpu版本非常简便直接输入:pip install tensorflow2.安装GPU版本(这里了推荐在anaconda下安装):首先你的python版本要在3.5以上;windows系统为7以上,且要为64位;检查你是否为N卡,虽然目前也支持AMD显卡但是用的比较少且笔者为N卡,如果使用的是AMD显卡,那你只得重新百度了,且显卡计算能力是否在3.0以...原创 2019-11-25 10:29:31 · 113 阅读 · 0 评论