![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
tensorflow
CY_TEC
Good good study, day day up~~~
展开
-
binary_crossentropy 计算有问题,导致训练出错 auc 异常
我在改一个训练流程的时候,auc 总是在 0.5 左右徘徊。检查了一下 loss 啥的,好像也没啥问题,后来逐行看了下代码才发现,传给 loss function 的 label 和 predicion 的 shape 对不上。一个是 (N,) 一个是 (M,1)。我去看了下 tf 里面的 binary_crossentropy,如下:@keras_export('keras.backend.binary_crossentropy')def binary_crossentropy(target,原创 2021-05-23 20:41:52 · 858 阅读 · 0 评论 -
tensorflow dataset 的一些使用经验
最近使用 tensorflow dataset 的过程,以及不同方法的考量大概经历了一下几个过程。把训练文件生成一个 tfrecord。后来发现其实我们是按天更新的,于是改成了多个 tfrecord,读取的时候,直接传一个文件列表就行了。之所以这样,一方面是不需要每天重复更新之前的数据,另一方面是避免了生成太大的文件。把本地生成的 tfrecord 放到 hdfs 上,训练的时候,直接读取 hdfs 文件。这样做的原因,主要是因为训练的服务器硬盘有限,同时有很多模型在使用。如果都把 tfrecord原创 2021-05-17 20:31:27 · 347 阅读 · 0 评论 -
tf 读取 hdfs 上的文件
读取 hdfs 上的文件,需要指定节点名以及配置好环境变量。比如:filename_queue = tf.train.string_input_producer([ "hdfs://namenode:8020/path/to/file1.csv", "hdfs://namenode:8020/path/to/file2.csv",])或者filename_queue = tf.data.Dataset.list_files([ "hdfs://namenode:8020/p原创 2021-05-13 11:27:37 · 1805 阅读 · 0 评论