MIss-Y的博客

前言：前面在介绍使用tensorflow进行data pipeline的时候，遇到了一些问题，特意整理了两篇文章，请参见：tfrecord文件的map在使用的时候所踩的坑总结（map、py_function、numpy_function）tensorflow2.x之由dataset.map引发出的关于tf.py_function以及tf.numpy_function问题本系列文章将深入详解这是哪个函数，即tf.py_function()、tf.py_func、tf.numpy_function(

前言：看了很多关于多GPU分配与使用的文章，发现很多文章都是只介绍了一些最浅显的东西，没有深入解释清楚，本文所使用的服务器上面含有4块 GTX2080Ti 的GPU。声明：深度学习框架所使用的GPU不是以GPU本身的个数和编号而言的，而是以我们本身给框架能够看见的GPU数量而言的，什么意思呢？一、关于GPU的可见性与框架使用的GPU的映射关系——device mapping（1）当不设定任何限制的时候，我们的框架可以看见4块GPU，所以在使用的时候对应的关系如下：/job:localhos

前言：前面的两篇文章已经分别介绍了高层API与低层API关于各种模型的保存，比如在tensorflow2.x中如何保存checkpoint与savedmodel，在tensorflow1.x中如何保存checkpoint，本文着重介绍在tensorflow1.x版本中怎么保存savedmodel。要想恢复模型并能够正确的加载，最核心的就在于要给模型的输入与输出起一...

前言：在使用tensorflow的时候，常常会被Operation、Tensor、Op_name、tensor_name等等概念搞混淆，本文专门通过一个简单的例子来深入讲解他们之间的区别于本质，并且如何在tensorboard中进行查看。一、线性回归的完整实例本文以一个两层神经网络来实现线性回归，代码如下：import tensorflow as tfimport numpy as...

前言：前面专门讲解了一篇关于tensorflow2.x的文件保存，主要是介绍了两种模式，一个是keras的h5文件，一个是tensorflow专用的SavedModel（.pb文件）文件，详细请参考：详解tensorflow2.0的模型保存方法（一）本文会专门介绍tensorflow中的checkpoint，以及在tensorflow2.x以及tensorflow1.x中如何保存成chec...

前言：我们一般使用深度学习框架都是GPU版本的，如何检测我们的安装是否成功，GPU、CUDA、CUDNN等信息呢？本文做了一个归纳总结：一、tensorflow版本的GPU信息查看（1）tensorflow版本tf.__version__ tensorflow版本tf.__xxxxx__ 一些信息的查看tf.verison.xxxx 一些信息tf.te...

前言：tensorflow2.0中有很多种模型保存方法，为了做一个统一的比较，本文做一个归纳总结，加之自己在这上面踩过很多的坑，现在感觉做一个总结实在是有必要。因为tensorflow创建模型的方式很多，包括Sequence、Model、SubClass Model，我们可以保存所有的模型，也可以仅仅保存权重。本文为系列文章第一篇，介绍各种模型保存方法，后面还会介绍checkpoint以及Sa...

前言：下面整理了tensorflow2.x学习的过程中自己整理的一些笔记，后续会不断的更新一、服务器端的tensorboard文件如何在本地浏览器中查看（1）第一步：登录服务器：——使用SSH登录在本地计算机使用先用ssh工具重定向：ssh -L 16006:127.0.0.1:6006 name@server_ip -p 22 # 你的用户名name和ip 有的服务器做了端口...

前言：tensorflow是一个庞大的系统，里面的函数很多，实现了很多常规的一些操作，但是始终没有办法涵盖所有的操作，有时候我们需要定义一些自己的操作逻辑来实现制定的功能，发现没那么简单，本文是在编写tf.data.DataSet的时候出现的一个问题，做了一个集中化的总结，会涉及到以下概念：EagerTensor和Tensor，tf.py_function以及tf.numpy_function...

前言：本文详细介绍tf.train.Example和tf.train.SequenceExample的区别，前面的几篇文章参见：tensorflow的Data Pipeline系列教程（一）——Dataset类的属性即常用方法TensorFlow的数据pipeline系列：Datasets+TFRecord的数据导入（二）TensorFlow之tfrecords文件详细教程Tens...

前言：本文详细介绍tf.train.Example和tf.train.SequenceExample的区别，前面的几篇文章参见：tensorflow的Data Pipeline系列教程（一）——Dataset类的属性即常用方法TensorFlow的数据pipeline系列：Datasets+TFRecord的数据导入（二）TensorFlow之tfrecords文件详细教程一、tf...

前言：前面已经有两篇文章专门介绍关于TensorFlow的tfrecord文件如何读写以及怎么使用DataSets来制作数据输入pipeline，可以参见前面两篇文章：TensorFlow之tfrecords文件详细教程tensorflow的Data Pipeline系列教程（一）——Dataset类的属性即常用方法​另外，阅读本文的前提条件是一到什么是特征feature，什么是样本e...

前言：本文介绍python中两种常见的命令行处理方法，一种是通过argparse库来实现，一种是使用tensorflow来实现。一、argparse库实现命令行参数1.1 定义参数的方法import argparseparser = argparse.ArgumentParser(description='some description') # 定义一个 parser 对...

一 神经网络显存占用分析神经网络模型占用的显存包括：模型自身的参数 模型的输出1.1 参数的显存占用只有有参数的层，才会有显存占用。这部份的显存占用和输入无关，模型加载完成之后就会占用。（1）有参数的层主要包括：卷积 全连接 BatchNorm BN层也是有参数的哦， Embedding层 ... ...（2）无参数的层：多数的激活层(Sigmoid...

一、公众号资源推荐——公众号“勇敢AI”“勇敢AI”——一个专注于人工智能的微信公众平台。本人新开创了一个公众号，经过长时间的积累，也积累了大量的资源，有众多的福利与大家分享，希望有兴趣的关注一下福利如下：1、海量电子书资源     后面还会持续收录相关的电子书，希望大家持续关注。2、 海量课程、教程资源下载你只要关注本公众号，就可以免费获得了。3、每个...

 欢迎关注“勇敢AI”公众号，更多python学习、数据分析、机器学习、深度学习原创文章与大家分享，还有更多电子资源、教程、数据集下载。勇敢AI，一个专注于人工智能AI的公众号。==================================================================================全文摘要当前是数据爆炸的时代，深度...

一、LeNet网络简介1.1 LeNet网络的背景闪光点：定义了CNN的基本组件，是CNN的鼻祖。LeNet是卷积神经网络的祖师爷LeCun在1998年提出，用于解决手写数字识别的视觉任务。自那时起，CNN的最基本的架构就定下来了：卷积层、池化层、全连接层。如今各大深度学习框架中所使用的LeNet都是简化改进过的LeNet-5（-5表示具有5个层），和原始的LeNet有些许不同...

一、神经网络的一般训练步骤#一、训练网络的一般步骤forepochinrange(epochs):batch_count=int(num_example/batch_size)foriinrange(batch_count):opti,summary,loss,acc=sess.run([optimizer,merge,cost,a...

前言：深度学习的初始化参数指的是在网络训练之前，对各个节点的权重和偏置进行初始化的过程，很多时候我们以为这个初始化是无关紧要的，不需要什么讲究，但是实际上，一个参数的初始化关系到网络能否训练出好的结果或者是以多快的速度收敛，这都是至关重要的，有时候因为参数初始化的缘故，甚至得不到好的训练结果。本文就来讨论一下参数初始化到底有什么讲究以及常见的参数初始化的一些策略方法。阅读本文需要神经网络...

概述，需要注意以下几个问题：（1）NVIDIA的显卡驱动程序和CUDA完全是两个不同的概念哦！CUDA是NVIDIA推出的用于自家GPU的并行计算框架，也就是说CUDA只能在NVIDIA的GPU上运行，而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。CUDA的本质是一个工具包（ToolKit）；但是二者虽然不一样的。显卡驱动的安装：当我们使用...

TensorFlow 版本兼容性本文档面向需要为不同版本的 TensorFlow（无论是代码或数据）提供向后兼容性的用户，以及希望在保持兼容性的同时也能够更改 TensorFlow 的开发人员。语义版本 2.0TensorFlow 的公共 API 遵循语义版本 2.0 (semver)。每个 TensorFlow 版本的版本号都采用MAJOR.MINOR.PATCH的形式。...

1、多版本的CUDA以及cudnn安装2、不同版本的tensorflow在CUDA之间的切换3、验证自己的CUDA是否安装成功前面的一片文章里面讲到了tensorflow、NVIDIA显卡驱动、CUDA工具包、cudnn之间的一些关系，详情请参考原文：https://blog.csdn.net/qq_27825451/article/details/89082978...

本人使用的开发环境python3.6.8+tensorflow1.9+keras2.2.4前提：已经正确安装pydot和graphviz的python软件包，并且安装windows的graphviz安装包，并且配置好了环境变量错误：pydot不能够正确调用graphviz，请确保已经安装了graphviz并配置了环境变量网络上其它的解决方案：（1）确保安装顺序正确：gr...

前言：前面分专题专门讲解了pytorch的自动求导功能，tensorflow其实也是具有相似的能力的，只不过可能相对的文章相对较少，本文以tensorflow2.0.0为例，来加以说明，比较说明了tensorflow和pytorch的自动求导的异同点一、先从一个例子看起由于对标量求导是最简单的，这里就不多说了，直接从张量开始，看下面的例子：import tensorflow ...

前言：在tensorflow中，训练数据常常需要经过随机打乱、分成一个一个的batch来进行训练，当然有很多的方式可以完成，比如我们可以通过传统的python方法构建迭代器，我们也可以使用其它的一些方法，但是tensorflow本身提供了强大的data pipeline处理机制，本文就来详细说明一下。本文的核心是：从Dataset到Iterator的“四步走”过程。 ...

前言：在tensorflow2.0之前，由于tensorflow采用的都是静态图机制，所以在调试起来的时候不像我们平时编写python程序那样便于查看，我们没有办法直接使用编辑器的调试功能，也没有办法使用python自带的pdb调试器，tensorflow自己提供了一套专门用于调试的工具。一、TensorFlow 调试器简介tfdbg是 TensorFlow 的专用调试程序。借助...

前言：tensorflow之前的版本由于是采用静态图，所以在调试的时候比较麻烦，前面一篇文章介绍了tensorflow自带的调试器，类似于python的pdb调试，本文专门讲两个函数，用来打印tensorflow中的变量，前一篇文章参考：tensorflow Debugger教程（一）——使用自带的tfdbg进行调试一、tensorflow查看tensor的传统做法比如下面的例子：...

一、概要tf.name_scope() #主要是方便参数变量的“ 分组 ”和 “ 管理 ”，主要是结合tf.Variable()一起使用tf.variable_scope() #一方面也是可以实现变量的“ 分组 ”和“ 管理 ”，主要是结合tf.get_variable()一起使用tf.Variable() #创建一个全新的变量tf.get_va...