magic_ll的博客

1 滑动平均的理解滑动平均(exponential moving average)，即 指数加权平均(exponentially weighted moving average)，用来估计变量在历史某一时间段的平均值变量 vvv 在 ttt 时刻记为 vtv_tvt​，$$

之前大概记录了使用python的多进程读取数据，然后给feed给神经网络进行训练，使gpu尽可能的避免等待数据的处理。这里记录下tensorflow中的 tf.data.DataSet的使用，同样可以完成多进程处理数据。并且由于是tensorflow框架的内容，会让工程看起来更加连贯流畅。这里我们需要先了解 tf.data 下的两个类：tf.data.DataSet：将我们的numpy数据 转换成 tensorflow的DataSet数据tf.data.Iterator：生成DataSe

1 BN在tensorflow中的apitensorflow中batch normalization的实现主要有下面三个：tf.nn.batch_normalizationtf.layers.batch_normalizationtf.contrib.layers.batch_norm 封装程度逐个递进，建议使用tf.layers.batch_normalization或tf.contrib.layers.batch_norm，因为在tensorflow官网的解释比较详细。我平时多使用tf.

1 问题概述在神经网络中使用 Batch Normalization，已经是一个基本必用的正则手段。 现象：当训练好神经网络，信心满满的进行预测，却发现结果一塌糊涂。 分析：训练和测试时，bn中的均值和方差的计算方法。要明确：训练时使用batch内数据的mean和var。测试时会使用更新后的滑动均值和滑动方差） 问题：那么可能出现bug的点就显而易见了：训练时，bn 的 momentum、Is_training 参数设置的是否合理训练时，moving_mean 和 moving_.

Protocol BufferProtocol Buffer是谷歌开发的处理结构化数据的工具。这里结构化的数据，指的是拥有多种属性的数据：如 要记录一些用户的信息，包括用户的名字、ID、E-mail地址，那么这就是一个结构化的数据。要将这些结构化的用户信息持久化或者进行网络传输时，就需要先将它们序列化。所谓序列化，是将结构化的数据变成数据流的格式，也就是变成一个字符串。将结构化的数据序列化，并从序列化之后的数据流中还原出原来的结构化数据，统称为处理结构化数据，这就是Protocol Buffer解决

1. Graph在tensorflow官方文档中，Graph被定义为“一些Operation和Tensor的集合”。我们使用的python代码表达的计算，就会生成一张图。并在tensorboard中可视化import tensorflow as tfBgraph = tf.Graph() # 创建一个图Bgraphwith Bgraph.as_default(): # 将Bgraph图设为当默认图 Bdata1 = tf.placeholder(tf.float32, name="

1 graph的创建在tensorflow中，程序会自动创建一个图。也可以手动建立图，并对图进行一些操作。tf.graph：创建图tf.get_default_graph：获取图tf.reset_default_graph：对图进行重置2 graph的序列化3 graph的操作...

定义在深度学习中，做回归任务时使用的loss多为均方差。公式为其中：Batch为样本数量，M为网络输出层的元素的个数实现loss = tf.nn.l2_loss(x, x') *2.0/ (Batch*M) loss = tf.losses.mean_squared_error(x, x') loss = tf.reduce_mean((x - x')**2) l...

目录一、函数1 sigmoid2 softmax二、熵的梳理1 信息量2 熵（信息量的期望）3 相对熵4 交叉熵三、机器学习中交叉熵的应用1.为什么使用交叉熵2 交叉熵在一对一分类问题中的使用3 交叉熵在一对多分类问题中的使用4 softmax和cross-entropy的关系四 tensorflow中的使用1 softmax_cross...

@.查找tensorflow的安装位置(1) pip show tensorflow-gpu(2) python import tensorflow tensorflow.__path__ dir(tensorflow)@.终止程序的进程 pkill -f 'tensorboard'1.tensorboard概述t...