sirius_black_-CSDN博客

原创 tensorflow 一些tips

1. tensorflow不支持不同秩的张量和矩阵相乘例如：shape（3,2,3）和（3,4）的tensor不能相乘，以前可以用batch_matmul() 新的版本中已被删除但是神经网络中有时需要这类的操作，因为第一个维度往往是样本数维度。以下方法可以实现上述操作:利用tf.scan() 实现 # A维度(batch_size,dim_1,dim_2) B...

2018-08-24 10:40:30 182

原创 keras中函数式模型示例

1、双输入单输出模型（如siamese）https://www.kaggle.com/kmader/image-similarity-with-siamese-networks2、单输入双输出https://baijiahao.baidu.com/s?id=1608764496267185255&wfr=spider&for=pc...

2018-08-17 10:20:35 1508

原创 keras 一些tips

1.显存占用问题由于tensorflow在训练时默认指定所有GPU的显存，使用tensorflow后端的keras亦如此注：虽然占用了所有GPU的显存，但实际使用只有指定的GPU。----------（占着不用）（1）禁用gpu import osos.environ["CUDA_VISIBLE_DEVICES"] = "-1" （2...

2018-07-17 20:02:46 507

原创 keras中siamese的实现

近期由于项目需要学习了一下Siamese网络，并用keras简单实现，现总结两种写法如下：1.keras 序贯模型input_shape = (105, 105, 1)left_input = Input(input_shape)right_input = Input(input_shape)#build convnet to use in each siamese 'leg'c...

2018-07-17 16:43:52 7264 8

原创 OOM in keras

问题描述：使用keras搭建siamese网络时，遇到错误如下： OOM when allocating tensor with shape[129024,4096] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc [[Node: dense_1/kernel/Ass...

2018-07-14 12:47:57 8238

原创 linux下pycharm无法输入中文

找到pycharm的安装路径,进入bin(my path) /home/lvyang/Downloads/pycharm-2017.3.4/bin在pycharm.sh中加入以下代码export GTK_IM_MODULE=fcitx export QT_IM_MODULE=fcitx export XMODIFIERS=@im=fcitx重启pycharm即可...

2018-07-10 11:18:15 2928 2

问题描述: 训练了大概6个epoch 模型在cpu上的loss开始出现nan，在gpu上表现正常经查找资料https://www.oschina.net/question/3683714_2266089 这位兄台和我遇到了同样的问题，然而他并没有解决https://www.zhihu.com/question/62441748这位兄台给出了一个解释，但是和我的模型问题应该不相同，因为我的RNN模型...

2018-05-08 11:20:42 11981 4

原创 tf中的矩阵运算

import tensorflow as tffrom numpy import newaxisfrom tensorflow.python.ops import math_ops## tf中的矩阵运算# 点乘a = tf.constant([[1,2],[3,4]])b = tf.constant([[1,1],[2,2]])sess = tf.Session()print(s...

2018-05-03 10:29:52 3048

原创全连接&GAP&Tensorlfow实现

全连接层起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽。在CNN中，全连接常出现在最后几层，用于对前面设计的特征做加权和。比如 mnist，前面的卷积和池化相当于做特征工程，后面的全连接相当于做特征加权...

2018-05-02 17:02:56 1467

原创 keras 自定义层

1. Layer重写的基本思路？Keras层的骨架。只需要实现三个方法即可:build(input_shape): 这是你定义权重的地方。这个方法必须设self.built = True，可以通过调用super([Layer], self).build()完成。build，这个函数用来确立这个层都有哪些参数，哪些参数是可训练的哪些参数是不可训练的。call(x): 这里是编写层的功能逻辑的地方。你...

2018-04-29 15:01:17 10965 1

原创 tensorflow 踩坑记之batch_norm

近日在跑densenet，发现训练集和测试集的准确率相差甚远：须知这是个二分类问题，晕........再三检查代码，甚至将刚训练过的数据再喂进去跑，准确率竟然很低，至此检查到training_flag的问题，将问题锁定到batch_norm函数上! 罪魁祸首：tf.contrib.layers.batch_norm！！！因为batch_norm 在test的时候，用的是固定的mean和var, 而...

2018-03-26 13:19:43 14411 5

原创版本 bug

1.代码 https://github.com/jacobgil/keras-dcgan/blob/master/dcgan.pydef generator_containing_discriminator(g, d): model = Sequential() model.add(g) d.trainable = False model.add(d) re...

2018-02-21 22:11:17 1286

原创 Gibbs Sampling

问题来源：论文 Shape and Material from Sound NIPS 20174.Inference 中 4.1 ModelsUnsupervised Given an audio clip S, we would like to recover the latent variables x to make the reproduced sound g(x) most

2018-01-25 14:46:38 347

转载 Resnet&&Densenet 理解

Resnethttps://www.jianshu.com/p/dbab6a116c96http://blog.csdn.net/u013698770/article/details/57977482http://blog.csdn.net/u013709270/article/details/78838875http://blog.csdn.net/qq_21190081/article/det

2018-01-18 11:28:55 221

转载多GPU运行

转载自keras中文文档Docs » keras新手指南 » 常见问题与解答如何在多张GPU卡上使用Keras？我们建议有多张GPU卡可用时，使用TnesorFlow后端。有两种方法可以在多张GPU上运行一个模型：数据并行/设备并行大多数情况下，你需要的很可能是“数据并行”数据并行数据并行将目标模型在多个设备上各复制一份，并使用每个设备上的复制品处理整个数据集的不同部分数据。Keras在keras...

2018-01-17 12:47:04 1277

原创数据预处理—打乱训练数据顺序

改变二维数组的一维顺序import numpy as npa = np.array([[1,2,3],[4,5,6],[7,8,9]])lable = np.arange(3)permutation = np.random.permutation(lable.shape[0])data = a[permutation,:]或读取文件时定义函数：def open_data(fname,

2018-01-16 19:51:50 15458

原创 data preprocessing ——time series clip

原数据文件夹里有140个数据长度不等的npz数组1.自定义windows函数import numpy as npimport globimport osparent_dir='waveform'sub_dir='fold1'file_ext="*.npz"window_size=10000num=0def windows(data, window_size):

2018-01-15 10:26:15 316

原创 some tips

DL中的训练集、验证集、验证集（建议比例：6：2：2 或 8：1：1）训练集（Training set）：学习样本数据集，通过匹配一些参数来建立一个分类器。建立一种分类的方式，主要是用来训练模型的。验证集（Validation set）：对学习出来的模型，调整分类器的参数，如在神经网络中选择隐藏单元数。验证集还用来确定网络结构或控制模型复杂程度的参数。测试集

2018-01-14 18:50:50 269

原创数据预处理—文件读取

1.npz文件读取parent_dir='waveform'sub_dir='fold1'file_ext="*.npz"for fn in glob.glob(os.path.join(parent_dir,sub_dir,file_ext)): wave_clip = np.load(fn)2.dat文件读取 for fn in glob.glob(os.p

2018-01-14 14:19:02 514

huowa9077的博客