用python实现one-hot编码

最新推荐文章于 2024-06-26 11:35:37 发布

虎妞C

最新推荐文章于 2024-06-26 11:35:37 发布

阅读量2.4k

点赞数

分类专栏：代码文章标签： tensorflow

本文链接：https://blog.csdn.net/shanyicheng1111/article/details/80007193

版权

代码专栏收录该内容

6 篇文章 1 订阅

订阅专栏

使用TensorFlow的tf.one_hot()可能会导致内存泄漏和模型运行变慢。为解决此问题，可以自定义one_hot函数，如示例中所示，通过numpy实现。这有助于控制模型的资源消耗。

摘要由CSDN通过智能技术生成

失败不可怕，怕的是偶然的成功。码代码跑实验谈恋爱找工作莫不如此。

之前用TensorFlow 跑了I3D的模型，很顺利。Loss完美下降，视频数据读入也没遇到大问题。偶然的成功，让我以为tensorflow So-easy嘛。

现在自己想做点东西，才发现有些坑你没遇到是因为你做的太少太简单Too young, Too simple.

tensorflow 封装的函数tf.one_hot():

import tensorflow as tf
import numpy as np
z=np.random.randint(0,10,size=[10])
y=tf.one_hot(z,10,on_value=1,off_value=None,axis=0)
with tf.Session()as sess:
    print(z)
    print(sess.run(y))
[5 7 7 0 5 5 2 0 0 0]
[[0 0 0 1 0 0 0 1 1 1]
 [0 0 0 0 0 0 0 0 0 0]
 [0 0 0 0 0 0 1 0 0 0]
 [0 0 0 0 0 0 0 0 0 0]
 [0 0 0 0 0 0 0 0 0 0]
 [1 0 0 0 1 1 0 0 0 0]
 [0 0 0 0 0 0 0 0 0 0]
 [0 1 1 0 0 0 0 0 0 0]
 [0 0 0 0 0 0 0 0 0 0]
 [0 0 0 0 0 0 0 0 0 0]]

瞅上去很完美，但是，tf.one_hot()会让你的graph动态增添节点，可能导致的后果就是内存泄露,模型越来越慢.....

所以当你发现模型占用内存越来越大，然后执行以下操作tf.get_default_graph().finalize() 报错的时候

就应该考虑自己实现one-hot（）功能了。

 
   def 
     
   one_hot 
   ( 
   labels 
   , 
   Label_class 
   ): 
  
 
    one_hot_label  
   = 
    np.array([[ 
   int 
   (i  
   == 
     
   int 
   (labels[j]))  
   for 
    i  
   in 
     
   range 
   (Label_class)]  
   for 
    j  
   in 
     
   range 
   ( 
   len 
   (labels))])  
  
 
     
   return 
    one_hot_label 
  

举例：

import numpy as np
def one_hot(labels,Label_class):
    one_hot_label = np.array([[int(i == int(labels[j])) for i in range(Label_class)] for j in range(len(labels))])   
    return one_hot_label

y = [2,5,6,7,8]
Label_class = 20
print one_hot(y,Label_class)
[[0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]
 [0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0]
 [0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0]
 [0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0]
 [0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0]]