wangwangstone的博客

做特征工程时，利用pyspark 将数据处理后保存为tfrecord以供后续的模型训练。本文给一个保存为tfrecord 和对tfrecord进行解析的案例。

目录tf.data.TFRecordDataset 含义Dataset函数解析tf.data.Dataset.batch 、map、shuffle、repeattf.data.Dataset.make_one_shot_iterator().get_next()一个几乎通用tfrecord 的数据解析函数tf.data.TFRecordDataset 含义Class TFRecordDataset。A Dataset comprising record...

tensorflow项目中之前跑通的测试的命令，重新跑时报错，提示：Restoring from checkpoint failed. This is most likely due to a mismatch between the current graph and the graph from the checkpoint. Please ensure that you have not altered the graph expected based on the checkpoint. Ori

本笔记大量参考自：文尾参考目录tf1.x###tf.app.flags.FLAGS##tf 中定义了 tf.app.flags.FLAGS ，用于接受从终端传入的命令行参数，相当于对Python中的命令行参数模块optpars做了一层封装。DEFINE_string里面的设置的str类型参数可供被调用。第一个参数后面可以作为其带有的属性值被调用flags = tf.app.flagsflags.DEFINE_string("model_dir", CONFIG.TRAIN.MODEL_D

含义：（1）iteration：表示1次迭代（也叫training step），每次迭代更新1次网络结构的参数；（2）batch-size：1次迭代所使用的样本量；（3）epoch：1个epoch表示过了1遍训练集中的所有样本。值得注意的是，在深度学习领域中，常用带mini-batch的随机梯度下降算法（Stochastic Gradient Descent, SGD）训练深层结构，它有一个好处就是并不需要遍历全部的样本，当数据量非常大时十分有效。此时，可根据实际问题来定义epoch，例如定义10

除此文记录外，可以参考此：https://www.zhihu.com/question/32673260/answer/71137399这个答案写的很好，下次再总结下batchsize 影响模型的泛化性能，小的batchsize能提高模型的泛化性能。随机梯度下降算法的原理如下：n是批量大小（ batchsize),η是学习率(learning rate)。可知道除了梯度本身...

转载: 参考：https://blog.csdn.net/u010238520/article/details/761657361.第一种是通过tf.device()函数来指定训练时所要使用的GPU.假设我们要用我们的第2块GPU来训练模型，此时可以通过下面的代码来指定：tf.device('/gpu:2')我们可以看到，虽然指定了第2块GPU来训练，但是其它几个GPU也...