Elenstone的博客

安装tensorflow2.x版本出现  我的系统是windows10，在安装tensorflow2.x版本时出现下列错误：原因是：tensorflow的底层是c++，系统缺少了microsotf vc++组件，百度下载“微软常用运行库合集”并安装，就不会报错了...

文章目录使用spark-scala调用tensorflow2.0训练好的模型〇，spark-scala调用tensorflow模型概述一，准备protobuf模型文件二，创建spark(scala)项目，在项目中添加java版本的tensorflow对应的jar包依赖三， 在spark(scala)项目中driver端加载tensorflow模型调试成功四，在spark(scala)项目中通过RD...

文章目录使用tensorflow-serving部署模型〇，tensorflow serving模型部署概述一，准备protobuf模型文件二，安装 tensorflow serving三，启动 tensorflow serving 服务四，向API服务发送请求使用tensorflow-serving部署模型TensorFlow训练好的模型以tensorflow原生方式保存成protobuf文...

文章目录使用TPU训练模型一，准备数据二，定义模型三，训练模型使用TPU训练模型如果想尝试使用Google Colab上的TPU来训练模型，也是非常方便，仅需添加6行代码。在Colab笔记本中：修改->笔记本设置->硬件加速器 中选择 TPU注：以下代码只能在Colab 上才能正确执行。可通过以下colab链接测试效果《tf_TPU》：https://colab.resea...

使用多GPU训练模型如果使用多GPU训练模型，推荐使用内置fit方法，较为方便，仅需添加2行代码。在Colab笔记本中：修改->笔记本设置->硬件加速器 中选择 GPU注：以下代码只能在Colab 上才能正确执行。可通过以下colab链接测试效果《tf_多GPU》：https://colab.research.google.com/drive/1j2kp_t0S_cofExS...

文章目录使用单GPU训练模型一，GPU设置二，准备数据三，定义模型四，训练模型使用单GPU训练模型深度学习的训练过程常常非常耗时，一个模型训练几个小时是家常便饭，训练几天也是常有的事情，有时候甚至要训练几十天。训练过程的耗时主要来自于两个部分，一部分来自数据准备，另一部分来自参数迭代。当数据准备过程还是模型训练时间的主要瓶颈时，我们可以使用更多进程来准备数据。当参数迭代过程成为训练时间的...

文章目录训练模型的3种方法一，内置fit方法二，内置train_on_batch方法三，自定义训练循环训练模型的3种方法模型的训练主要有内置fit方法、内置tran_on_batch方法、自定义训练循环。注：fit_generator方法在tf.keras中不推荐使用，其功能已经被fit包含。import numpy as np import pandas as pd import t...

文章目录构建模型的3种方法一，Sequential按层顺序创建模型二，函数式API创建任意结构模型三，Model子类化创建自定义模型构建模型的3种方法可以使用以下3种方式构建模型：使用Sequential按层顺序构建模型，使用函数式API构建任意结构模型，继承Model基类构建自定义模型。对于顺序结构的模型，优先使用Sequential方法构建。如果模型有多输入或者多输出，或者模型需要共享...

文章目录回调函数callbacks一，内置回调函数二，自定义回调函数回调函数callbackstf.keras的回调函数实际上是一个类，一般是在model.fit时作为参数指定，用于控制在训练过程开始或者在训练过程结束，在每个epoch训练开始或者训练结束，在每个batch训练开始或者训练结束时执行一些操作，例如收集一些日志信息，改变学习率等超参数，提前终止训练过程等等。同样地，针对mode...

文章目录优化器optimizers一，优化器的使用二，内置优化器优化器optimizers机器学习界有一群炼丹师，他们每天的日常是：拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。机器学习也是一样，模型优化算法的选择...

文章目录评估指标metrics一，常用的内置评估指标二， 自定义评估指标评估指标metrics损失函数除了作为模型训练时候的优化目标，也能够作为模型好坏的一种评价指标。但通常人们还会从其它角度评估模型的好坏。这就是评估指标。通常损失函数都可以作为评估指标，如MAE,MSE,CategoricalCrossentropy等也是常用的评估指标。但评估指标不一定可以作为损失函数，例如AUC,Ac...

文章目录损失函数losses一，损失函数和正则化项二，内置损失函数三，自定义损失函数损失函数losses一般来说，监督学习的目标函数由损失函数和正则化项组成。（Objective = Loss + Regularization）对于keras模型，目标函数中的正则化项一般在各层中指定，例如使用Dense的 kernel_regularizer 和 bias_regularizer等参数指定权...

文章目录模型层layers一，内置模型层二，自定义模型层模型层layers深度学习模型一般由各种模型层组合而成。tf.keras.layers内置了非常丰富的各种功能的模型层。例如，layers.Dense,layers.Flatten,layers.Input,layers.DenseFeature,layers.Dropoutlayers.Conv2D,layers.MaxPooli...

文章目录激活函数activation一，常用激活函数二，在模型中使用激活函数激活函数activation激活函数在深度学习中扮演着非常重要的角色，它给网络赋予了非线性，从而使得神经网络能够拟合任意复杂的函数。如果没有激活函数，无论多复杂的网络，都等价于单一的线性变换，无法对非线性函数进行拟合。目前，深度学习中最流行的激活函数为 relu, 但也有些新推出的激活函数，例如 swish、GEL...

文章目录特征列feature_column一，特征列用法概述二，特征列使用范例特征列feature_column特征列 通常用于对结构化数据实施特征工程时候使用，图像或者文本数据一般不会用到特征列。一，特征列用法概述使用特征列可以将类别特征转换为one-hot编码特征，将连续特征构建分桶特征，以及对多个特征生成交叉特征等等。要创建特征列，请调用 tf.feature_column 模块的...

五、TensorFlow的中阶APITensorFlow的中阶API主要包括:数据管道(tf.data)特征列(tf.feature_column)激活函数(tf.nn)模型层(tf.keras.layers)损失函数(tf.keras.losses)评估函数(tf.keras.metrics)优化器(tf.keras.optimizers)回调函数(tf.keras.callb...

AutoGraph和tf.Module有三种计算图的构建方式：静态计算图，动态计算图，以及Autograph。TensorFlow 2.0主要使用的是动态计算图和Autograph。动态计算图易于调试，编码效率较高，但执行效率偏低。静态计算图执行效率很高，但较难调试。而Autograph机制可以将动态图转换成静态计算图，兼收执行效率和编码效率之利。当然Autograph机制能够转换的代...

AutoGraph的机制原理有三种计算图的构建方式：静态计算图，动态计算图，以及Autograph。TensorFlow 2.0主要使用的是动态计算图和Autograph。动态计算图易于调试，编码效率较高，但执行效率偏低。静态计算图执行效率很高，但较难调试。而Autograph机制可以将动态图转换成静态计算图，兼收执行效率和编码效率之利。当然Autograph机制能够转换的代码并不是没...

AutoGraph的使用规范有三种计算图的构建方式：静态计算图，动态计算图，以及Autograph。TensorFlow 2.0主要使用的是动态计算图和Autograph。动态计算图易于调试，编码效率较高，但执行效率偏低。静态计算图执行效率很高，但较难调试。而Autograph机制可以将动态图转换成静态计算图，兼收执行效率和编码效率之利。当然Autograph机制能够转换的代码并不是没...

张量的数学运算张量的操作主要包括张量的结构操作和张量的数学运算。张量结构操作诸如：张量创建，索引切片，维度变换，合并分割。张量数学运算主要有：标量运算，向量运算，矩阵运算。另外我们会介绍张量运算的广播机制。本篇我们介绍张量的数学运算。一，标量运算张量的数学运算符可以分为标量运算符、向量运算符、以及矩阵运算符。加减乘除乘方，以及三角函数，指数，对数等常见函数，逻辑比较运算符等都是标量运...

四 TensorFlow的低阶APITensorFlow的低阶API主要包括张量操作，计算图和自动微分。如果把模型比作一个房子，那么低阶API就是【模型之砖】。在低阶API层次上，可以把TensorFlow当做一个增强版的numpy来使用。TensorFlow提供的方法比numpy更全面，运算速度更快，如果需要的话，还可以使用GPU进行加速。前面几章我们对低阶API已经有了一个整体的认识...

3-3,高阶API示范下面的范例使用TensorFlow的高阶API实现线性回归模型。TensorFlow的高阶API主要为tf.keras.models提供的模型的类接口。使用Keras接口有以下3种方式构建模型：使用Sequential按层顺序构建模型，使用函数式API构建任意结构模型，继承Model基类构建自定义模型。此处分别演示使用Sequential按层顺序构建模型以及继承Mod...

中阶API示范下面的范例使用TensorFlow的中阶API实现线性回归模型。TensorFlow的中阶API主要包括各种模型层，损失函数，优化器，数据管道，特征列等等。import tensorflow as tffrom tensorflow.keras import layers,losses,metrics,optimizers#打印时间分割线@tf.functionde...

TensorFlow的层次结构本章我们介绍TensorFlow中5个不同的层次结构：即硬件层，内核层，低阶API，中阶API，高阶API。并以线性回归为例，直观对比展示在不同层级实现模型的特点。TensorFlow的层次结构从低到高可以分成如下五层。最底层为硬件层，TensorFlow支持CPU、GPU或TPU加入计算资源池。第二层为C++实现的内核，kernel可以跨平台分布运行。第三...

文章目录自动微分机制一，利用梯度磁带求导数二，利用梯度磁带和优化器求最小值自动微分机制神经网络通常依赖反向传播求梯度来更新网络参数，求梯度过程通常是一件非常复杂而容易出错的事情。而深度学习框架可以帮助我们自动地完成这种求梯度运算。Tensorflow一般使用梯度磁带tf.GradientTape来记录正向运算过程，然后反播磁带自动得到梯度值。这种利用tf.GradientTape求微分的...

三种计算图有三种计算图的构建方式：静态计算图，动态计算图，以及Autograph.在TensorFlow1.0时代，采用的是静态计算图，需要先使用TensorFlow的各种算子创建计算图，然后再开启一个会话Session，显式执行计算图。而在TensorFlow2.0时代，采用的是动态计算图，即每使用一个算子后，该算子会被动态加入到隐含的默认计算图中立即执行得到结果，而无需开启Session...

TensorFlow的核心概念TensorFlow™ 是一个采用 数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。TensorFlow 最初...

目录时间序列数据建模流程范例一，准备数据二，定义模型三，训练模型四，评估模型五，使用模型六，保存模型时间序列数据建模流程范例国内的新冠肺炎疫情从发现至今已经持续3个多月了，这场起源于吃野味的灾难给大家的生活造成了诸多方面的影响。有的同学是收入上的，有的同学是感情上的，有的同学是心理上的，还有的同学是体重上的。那么国内的新冠肺炎疫情何时结束呢？什么时候我们才可以重获自由呢？本篇文章将利用T...

文本数据建模流程范例一，准备数据imdb数据集的目标是根据电影评论的文本内容预测评论的情感标签。训练集有20000条电影评论文本，测试集有5000条电影评论文本，其中正面评论和负面评论都各占一半。文本数据预处理较为繁琐，包括中文切词（本示例不涉及），构建词典，编码转换，序列填充，构建数据管道等等。在tensorflow中完成文本数据预处理的常用方案有两种，第一种是利用tf.keras.p...

windows使用tensorflow2.0发生No such file or directory [Op:CreateSummaryFileWriter与Cannot stop profiling.No profiler is running.原因是windows的路径有问题，这个是tensorflow的一个bug，在linux系统上面就不会发生这个问题。解决办法第一步：将路径的"/“改成...

一，准备数据cifar2数据集为cifar10数据集的子集，只包括前两种类别airplane和automobile。训练集有airplane和automobile图片各5000张，测试集有airplane和automobile图片各1000张。cifar2任务的目标是训练一个模型来对飞机airplane和机动车automobile两种图片进行分类。我们准备的Cifar2数据集的文件结构如下...

目录0 TensorFlow的建模流程1 准备数据2 定义模型3 训练模型4 评估模型五，使用模型六，保存模型0 TensorFlow的建模流程尽管TensorFlow设计上足够灵活，可以用于进行各种复杂的数值计算。但通常人们使用TensorFlow来实现机器学习模型，尤其常用于实现神经网络模型。从原理上说可以使用张量构建计算图来定义神经网络，并通过自动微分机制训练模型。但为简洁起见，一...

目录0 前言1 准备2 Tensorflow2.0 CPU版本安装2.1 新建虚拟环境2.2 安装Tensorflow2.0 CPU版本2.3 验证Tensorflow2.0 CPU版本3 tensorflow3.0 GPU 版本安装3.1 Anaconda创建虚拟环境3.2 安装tensorflow2.0 GPU版本的NVINDA驱动3.3 安装tensorflow2.0 GPU版本3.4 验证...