深度学习-tensorflow
文章平均质量分 79
tensorflow框架的相关知识点
旺仔的算法coding笔记
从自己能做到的开始,一件件来,缓慢而坚定地前进,尽力而为,自己也终将有成为大佬而从容自在的时候
展开
-
pyspark将DataFrame写入tfrecord 和tf中tfrecord的解析
做特征工程时,利用pyspark 将数据处理后保存为tfrecord以供后续的模型训练。本文给一个保存为tfrecord 和对tfrecord进行解析的案例。原创 2023-02-02 13:05:41 · 1314 阅读 · 0 评论 -
tf.data.TFRecordDataset 解析-带实例解析函数-边做边记
目录tf.data.TFRecordDataset 含义Dataset函数解析tf.data.Dataset.batch 、map、shuffle、repeattf.data.Dataset.make_one_shot_iterator().get_next()一个几乎通用tfrecord 的数据解析函数tf.data.TFRecordDataset 含义Class TFRecordDataset。A Dataset comprising record...原创 2020-11-27 00:50:48 · 5099 阅读 · 1 评论 -
ERROR,Restoring from checkpoint failed. This is most likely due to a mismatch between the current gr
tensorflow项目中之前跑通的测试的命令,重新跑时报错,提示:Restoring from checkpoint failed. This is most likely due to a mismatch between the current graph and the graph from the checkpoint. Please ensure that you have not altered the graph expected based on the checkpoint. Ori原创 2020-08-31 15:38:58 · 1871 阅读 · 1 评论 -
tf.app.flags.FLAGS 学习笔记
本笔记大量参考自:文尾参考目录tf1.x###tf.app.flags.FLAGS##tf 中定义了 tf.app.flags.FLAGS ,用于接受从终端传入的命令行参数,相当于对Python中的命令行参数模块optpars做了一层封装。DEFINE_string里面的设置的str类型参数可供被调用。第一个参数后面可以作为其带有的属性值被调用flags = tf.app.flagsflags.DEFINE_string("model_dir", CONFIG.TRAIN.MODEL_D原创 2020-08-24 22:29:15 · 447 阅读 · 1 评论 -
epoch、batch、training step(iteration)的区别
含义:(1)iteration:表示1次迭代(也叫training step),每次迭代更新1次网络结构的参数;(2)batch-size:1次迭代所使用的样本量;(3)epoch:1个epoch表示过了1遍训练集中的所有样本。值得注意的是,在深度学习领域中,常用带mini-batch的随机梯度下降算法(Stochastic Gradient Descent, SGD)训练深层结构,它有一个好处就是并不需要遍历全部的样本,当数据量非常大时十分有效。此时,可根据实际问题来定义epoch,例如定义10转载 2020-08-19 12:32:52 · 2187 阅读 · 1 评论 -
深度学习中的batch的大小对学习效果与时间的影响
除此文记录外,可以参考此:https://www.zhihu.com/question/32673260/answer/71137399这个答案写的很好,下次再总结下batchsize 影响模型的泛化性能,小的batchsize能提高模型的泛化性能。随机梯度下降算法的原理如下:n是批量大小( batchsize),η是学习率(learning rate)。可知道除了梯度本身...原创 2019-06-17 13:44:49 · 1693 阅读 · 0 评论 -
tensorflow在训练模型的时候如何指定GPU进行训练
转载: 参考:https://blog.csdn.net/u010238520/article/details/761657361.第一种是通过tf.device()函数来指定训练时所要使用的GPU.假设我们要用我们的第2块GPU来训练模型,此时可以通过下面的代码来指定:tf.device('/gpu:2')我们可以看到,虽然指定了第2块GPU来训练,但是其它几个GPU也...转载 2019-06-25 15:26:12 · 12316 阅读 · 0 评论