- 博客(27)
- 收藏
- 关注
RSS订阅原创 查找路径下某个文件夹名字中是否含有某个字段
#生成测试集def gen_test_dataset_from_pkl_feature(path,cate_value): x_dataset = [] x_train = collections.OrderedDict() files = os.listdir(path) channel = list(set(test_channel).intersection...
2018-05-30 14:38:44
1335
转载 LSTM详解
出处Keras关于LSTM的units参数：这个问题也困扰了我很久，后来终于明白了，很多资料都没有在这个地方做详细的解释，那就是 LSTM 的 cell 里面的 num_units 该怎么理解，其实也是很简单，看看下图：可以看到中间的 cell 里面有四个黄色小框，你如果理解了那个代表的含义一切就明白了，每一个小黄框代表一个前馈网络层，对，就是经典的神经网络的结构，num_units就是这个层的隐...
2018-05-28 16:55:30
6957
1
原创 The First Time for ZIP
# -*- coding:utf-8 -*-import osimport zipfileimport glob# path = 'video_feature\Jan_videos_feature\Jan_videos'path = 'Jan_videos/cate6'# cate = ['cate1','cate2','cate4','cate6','cate7','cate9','...
2018-05-24 10:24:42
230
原创 OneHot编码 Tensorflow实现和keras实现
tensorflow中tf.one_hot()函数的作用是将一个值化为一个概率分布的向量，一般用于分类问题。具体用法以及作用见以下代码：y_train_dataset = np.concatenate((y_dataset_cate1,y_dataset_cate6,y_dataset_cate7,y_dataset_cate10),axis=0)encoder = LabelEncoder()...
2018-05-23 12:08:42
4468
原创 两台服务器传输文件的具体操作
设有两机，均为局域网，两机可相互通信无问题，中间无防火墙。 两机IP分别为：A:192.168.1.240 B:192.168.1.102 假设A，B机的SSH都允许root登录 设要把 A上的 /root/abc.zip 传到 B机并放到/abc目录，可以在A机上用命令 scp /root/abc.zip root@192.168.1.10...
2018-05-23 09:27:03
717
原创 将Tensor转为array
tf.reset_default_graph() #加入这句话，可以重新创建图，否则会报错with tf.Session() as sess: NetVLAD = lp.NetVLAD(feature_size=1024, max_samples=1, cluster_size=5, output_dim=1024, gating=False, a...
2018-05-21 16:03:05
10808
原创 Variable cluster_weights already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO
Variable cluster_weights already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope?遇到这种报错，只要在代码开头加上：tf.reset_default_graph() #加入这句话，可以重新创建图，否则会报错...
2018-05-21 15:59:45
12804
5
转载 tf.get_variable
原文tf.get_variable(name, shape, initializer): name就是变量的名称，shape是变量的维度，initializer是变量初始化的方式，初始化的方式有以下几种：tf.constant_initializer：常量初始化函数tf.random_normal_initializer：正态分布tf.truncated_normal_initializer：截...
2018-05-18 15:43:33
219
转载 控制GPU资源使用率
原文tensorflow ConfigPrototf.ConfigProto一般用在创建session的时候。用来对session进行参数配置with tf.Session(config = tf.ConfigProto(...),...)1#tf.ConfigProto()的参数log_device_placement=True : 是否打印设备分配日志allow_soft_placemen...
2018-05-18 14:26:38
3937
转载 Python中 sys.argv[]的用法简明解释
Python中 sys.argv[]的用法简明解释原文出处 因为是看书自学的python,开始后不久就遇到了这个引入的模块函数，且一直在IDLE上编辑了后运行，试图从结果发现它的用途，然而结果一直都是没结果，也在网上查了许多，但发现这个问题的比较详细的解释只有一个版本，大部分都是转裁和复制的。给的都是简明python教程上那个一长串代码的例子，说看了就明白了，可我看得晕头转向的还是没真正...
2018-05-17 15:18:23
525
原创 关于for循环中的数组拼接
可以使用，append实现在for循环中的数组拼接，但是有一个问题，拼好的数组会多出一个维度2（这是根据拼接的数组的个数而来的）我们可以使用reshape函数将拼好的数组转换成我们想要的维度。由于特征是1024维的，我们需要拼接好的数组满足(-1,1024),即：有N行，1024列。同时标签满足N行1列。...
2018-05-15 10:03:01
15928
转载 如何理解keras中的shape/input_shape
在keras中，数据是以张量的形式表示的，张量的形状称之为shape，表示从最外层向量逐步到达最底层向量的降维解包过程。比如，一个一阶的张量[1,2,3]的shape是(3,);一个二阶的张量[[1,2,3],[4,5,6]]的shape是(2,3);一个三阶的张量[[[1],[2],[3]],[[4],[5],[6]]]的shape是(2,3,1)。input_shape就是指输入张量的shap...
2018-05-14 09:34:24
2132
原创 CentOS安装graphviz
在用keras进行网络可视化时提示：Failed to import pydot. You must install pydot and graphviz for `pydotprint` to work.所以我需要安装pydot和graphviz首先，安装graphviz对于 CentOS 等操作系统，Graphviz 已经被添加到其企业软件附加包（EPEL）中，可以在安装该附加包后，通过下面的...
2018-05-11 16:44:49
10059
1
转载 Keras中shuffle和validation_split的顺序
shuffle和validation_split的顺序模型的fit函数有两个参数，shuffle用于将数据打乱，validation_split用于在没有提供验证集的时候，按一定比例从训练集中取出一部分作为验证集这里有个陷阱是，程序是先执行validation_split，再执行shuffle的，所以会出现这种情况：假如你的训练集是有序的，比方说正样本在前负样本在后，又设置了validation_...
2018-05-11 09:38:16
22078
1
原创 softmax() got an unexpected keyword argument 'axis'
tensorflow-gpu 1.4, keras 2.1.6 运行keras模型的时候出现了以下的错误：、Traceback (most recent call last): File "models.py", line 24, in <module> model = NIH() File "models.py", line 19, in NIH model...
2018-05-10 16:14:12
8695
原创 FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is depr
使用tensorflow时报错FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.解决方法：pi...
2018-05-10 15:45:01
411
原创 报错：AttributeError: 'NoneType' object has no attribute 'append'
问题出在这里：a = a.append(b)要知道，append方法是没有返回值的。也就是说，上述语句第一次会成功执行，并且将a赋值为None；第二次调用就会报错，因为None是不能调.append方法的，修改方法也简单，a.append(b)就可以了，不要接返回值...
2018-05-08 09:22:56
13206
1
原创 RuntimeError: Invalid DISPLAY variable
远程服务器出图报错这个错是因为远程的服务器没有图形化界面。所以我们需要在代码中加入：import matplotlib.pyplot as pltplt.switch_backend('agg')即，使用不需要GUI的Backend，这样就可以了...
2018-05-07 20:16:29
784
原创 np.min()
import numpy as np a = np.array([[1,5,3],[4,2,6]]) print(a.min()) #无参，所有中的最小值 print(a.min(0)) # axis=0; 每列的最小值 print(a.min(1)) # axis=1；每行的最小值 ...
2018-05-07 10:05:22
16758
转载 Pickle
pickle是python语言的一个标准模块，安装python后已包含pickle库，不需要单独再安装。pickle模块实现了基本的数据序列化和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象pickle模块有两类主要的接口，即序列化和反序列化。其中序列化操作包括：pick...
2018-05-04 19:38:13
183
转载 python报错UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 4: ordinal not in range
编码解码注意，如果pkl文件是在python27下提取出来的，那么在python35下进行读取时就会报这个错！！！
2018-05-04 12:48:48
457
原创 两个版本CUDNN版本切换
在解压好的cuda文件夹下输入命令：export LD_LIBRARY_PATH=./lib64:$LD_LIBRARY_PATH 参考
2018-05-04 10:01:57
2739
1
原创 查看CUDA和CUDNN版本
查看 CUDA 版本：cat /usr/local/cuda/version.txt查看 CUDNN 版本：cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
2018-05-04 09:58:09
726
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人