2018年01月_binqiang2wang

原创 theano tensor 数据类型转换

import theano.tensor as Tx = T.matrix()x_as_int = T.cast(x, 'int32')官方教程

2018-01-30 09:09:19 2236

原创 Deep Voice 论文

创新点Deep Voice 将深度学习应用于语音合成的全过程。需要提取的特征非常少，因此容易应用于不同的数据集。与现有技术相比，这个系统非常高效，专为生产系统而设计。流程将语素（文本）转换为音素预测持续时间和基频音频合成上面是最大概的东西，除了第一步中有查字典的过程之外，剩下两步都是靠数据(数据大佬。。。)来训练神经网络（不清楚是不是用全连接层），传统的pyth

2018-01-29 00:19:06 915

原创 ImportError: No module named 'engine'

pip install pyttsx3answers on overflow

2018-01-28 19:01:55 5672

原创 numpy.linalg.linalg.LinAlgError: the leading minor of order 1 of 'b' is not

numpy.linalg.linalg.LinAlgError: the leading minor of order 1 of 'b' is not positive definite. The factorization of 'b' could not be completed and no eigenvalues or eigenvectors were computed.上面是

2018-01-28 10:30:14 6276 8

原创 python t-sne 作彩色图

使用的是sklearn.manifold的包，按照例子作图的时候，想要将不同的点用不同的颜色表示，参数是c，具体看例子：from sklearn.manifold import TSNEimport matplotlib.pyplot as pltX_embedded = TSNE(n_components=2).fit_transform(data)plt.figure()pl

2018-01-27 22:49:12 7445 4

原创 matlab 遍历文件夹是否为空并输出空文件夹名字

path = './';%文件夹目录fileinfo = dir(path);%获取所有子文件夹for i=3:length(fileinfo) %subfileinfo = dir([path,'\',fileinfo(i).name]); subfileinfo = dir(fullfile(path,fileinfo(i).name));%获取子文件夹的信息 if

2018-01-24 21:38:50 2490 3

原创 ValueError: invalid literal for int() with base 10: 'abc'

int()函数只能转化数字组成的字符串，看例子：>>> a='123'>>> int(a)123>>> b='abc'>>> int(b)Traceback (most recent call last): File "", line 1, in ValueError: invalid literal for int() with base 10: 'abc'

2018-01-24 14:28:52 8165

原创 ImportError: No module named cv2

pip install opencv-python

2018-01-24 10:07:22 261

原创 TypeError: linspace() got an unexpected keyword argument 'dtype'

frame_count = 100max_frames =20indices = np.linspace(8, frame_count - 7, max_frames, endpoint=False, dtype=int)运行上面的代码的时候报错TypeError: linspace() got an unexpected keyword argument 'dtype' 查看帮助文档发

2018-01-23 23:27:41 8534

转载 anaconda conda 常用命令

# 创建一个名为python34的环境，指定Python版本是3.4（不用管是3.4.x，conda会为我们自动寻找3.4.x中的最新版本）conda create --name python34 python=3.4# 安装好后，使用activate激活某个环境activate python34 # for Windowssource activate python34 # for L

2018-01-22 23:12:54 1059 3

原创 caffe常用网络模型权重文件和定义文件（alex, vgg, googlenet, resnet）

首先提供这些模型定义文件和权重文件下载的地址：百度网盘将深度模型当作特征提取器来使用，总是忘记各个层的名字，所有全连接层的维数都是1000，这里权当记录一下。网络名字层名字 vgg16/vgg19/alexnet fc8 googlenet loss3/classifier resnet50/101/152 fc1000

2018-01-21 16:57:51 2498

原创 python LDA (Latent Dirichlet Allocation)实例讲解

LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。以上，摘自百度百科。下面用一个例子来讲解实现，贴代码，注释相对...

2018-01-20 22:47:12 12989 2

原创 python 命令行传入参数 argparse pca降维

命令行传入参数的方式不止一种，只要熟练掌握一种就行，我这里使用的是argparse。任务是想要将数据进行pca降维，使用的pca方法是sklearn里面自带的。具体过程参见如下代码：# get different dim of pcaimport osimport jsonimport argparseimport h5pyimport pickle as pklimport

2018-01-20 17:26:14 283

转载 Latex数学公式中的空格

\quad、1em、em、m代表当前字体下接近字符‘M’的宽度（approximately the width of an “M” in the current font）数学公式中写入非数学变量的字符（non-mathematical elements），使用Roman字体，而不是数学变量的斜体（italics），例如“ if ”，使用\mbox{ if }转载地址

2018-01-19 20:53:23 1625

原创 2017CVPRSelf-Supervised Learning of Visual Features Through Embedding Images Into Text Topic Spaces

这个工作的背景是无监督学习，也就是现存的网络上有大量数据，如何在不使用人工进行标记的情况下来进行特征提取的学习，是一个未来很有前景的方向，比如网络上无论是社交网站还是wiki百科，都有大量图文并茂的资源，作者的意思就是利用这些”文“来指导“图”的特征提取，不是一般意义上的无监督学习。作者利用自己训练的网络当作特征提取器在分类，目标检测和图文互检索的任务上进行测试，有大量试验，但作者的效果并不是相比

2018-01-19 10:11:03 568

原创 Latex 多行公式换行对齐

\begin{equation}\begin{split}x&=a+b+c\\&=d+e\\&=f+g\end{split}\end{equation}效果：

2018-01-18 17:32:50 62608 3

原创 stop words-- NLP

stop words是指自然语言处理当中会被过滤掉的一些单词，一般是指无意义的定冠词，不定冠词（a,an,the）, 连接词（of,but...）,这个并没有统一的标准，而是针对具体的任务和文档来说，那些高频经常出现的词语因为对具体任务来说其实没有帮助（比如文档分类，几乎每个文档都有上面提到的词语，对分类没有任何帮助），所以在处理的时候会去掉这些单词，来提升针对性任务的结果。虽然没有统一的stop

2018-01-18 11:23:57 2618

原创 keras fit_generator 节省内存例子

之前写keras的时候，都是直接model.fit()，后来发现这样不节省内存，尤其是在输入数据本身不大，但是内部要进行排列组合的时候就显得特别有用，这里记录一下fit_generator的用法：fit_generator(self, generator, steps_per_epoch=None, epochs=1, verbose=1, callbacks=None, validati

2018-01-17 20:02:36 9046 5

原创 python list 依次移动转盘轮转

首先声明任务：有一个list，我想要让第一个放到最后一个，保存新的list，然后在新的list上继续进行这个操作，直到所有的情况都轮转一遍，当然不包括本身的那个list. 首先定义一个函数:def ahead_one(input_list): b = input_list.pop(0)#这里0代表第一个，可以修改成想要的 input_list.append(b) return i

2018-01-17 19:44:15 800

原创 Transfer learning 迁移学习综述

轻松开始专访香港科技大学教授杨强：国内的人工智能研究不能太跟风借用文中的话，解释一下迁移学习的思想：迁移学习的思想是，通过发现大数据的模型和小数据问题之间的关联，然后把模型迁移过去，这样一来如果在大数据领域先得到了机器学习模型，在研究下一个相关领域时，只用一部分数据或者小数据就可以完成。利用迁移学习这一特征，我们就不用花大力气去收集资源了，这对人工智能的发展非常关键。相关资料

2018-01-17 00:00:44 1743

原创 matlab cell find 元组查找

首先声明任务：数据按照图片名称分为训练和测试，但是提取特征的时候是按照全部的图片提取vgg_feats.mat的，有一个task.txt其中存着所有的图片名字，每一行一个，另一个train.txt,里面名字的存储方式和task.txt一样，我这里的目的是想要在vgg_feats.mat里面抽取我想要的特征，其中涉及到元组的查找，这里记录一下。元组查找我通过查资料找到两种方式：第一种：利

2018-01-16 21:59:26 13726

原创 2017_ ICCV_Towards Diverse and Natural Image Descriptions via a Conditional GAN - 翻译

利用条件对抗网络生成多样性和自然的图像描述摘要图像描述工作虽然在近些年取得了非常丰富的发展，但是这个工作并不完美。目前基于RNN产生的句子，都非常死板，缺乏多边性。这个问题是因为广泛使用的原则就是在训练样本上进行似然最大。这个原则使得产生的句子和真实的句子最为接近，可是却抑制了其他合理的描述。传统的评价方法，BLEU,METEOR都是为这些限制性较大的方法提供服务的。本文中，我们将集中

2018-01-16 12:08:13 1018

原创 python numpy 矩阵堆叠

在实际操作中，遇到了矩阵堆叠的操作，本来想着自己写一个函数，后来想，应该有库函数，于是一阵找寻import numpy as npa = np.array([1,2,3])b = np.array([4,5,6])np.stack((a,b)) #默认行堆叠输出：array([[1, 2, 3], [4, 5, 6]])np.vstack((a, b))输出：

2018-01-16 11:02:30 10912

原创 IOError: Unable to open file (File signature not found)

用matlab保存的文件，用h5py读取的时候出现了上述错误。def load_feature(features_path, name_str): print 'BasicDataProvider: reading %s' % (features_path, ) features_struct = h5py.File(features_path, 'r') features =

2018-01-16 10:22:00 8547 3

原创 matlab txt 快速读取大量文本 textscan

allpath = '../tasks.txt';fid = fopen(allpath);data = textscan(fid,'%s');fclose(fid);很简单快速的读入txt当中的内容，保存为元组；可以通过row = length(data{1});来获得txt的行数。数据的内容如下：获取第一行内容使用如下代码：row_first_cont

2018-01-15 22:35:20 21714

原创 scikit-learn中PCA降到多少维？

假设数据的维度是 500x1000,500个样本，每个样本的维度是1000，使用pcapca=PCA(n_components=600)这里的600>500会报错，这里降维的时候，维度的数量不能大于样本数量，原因暂时不明。

2018-01-10 18:03:22 5394 2

原创 precision matrix (精度矩阵/浓度矩阵)

precision matrix 又被称为 concentration matrix，就定义来说，如果两个随机变量的协方差矩阵(covariance matrix)的逆矩阵存在，那这个逆矩阵就被称为precison matrix.有关covariance matrix的定义可以移步维基百科：covariance matrix

2018-01-10 15:26:07 10460 3

原创 TypeError: 'str' does not support the buffer interface

我使用python2如下代码保存.pkl 文件：f = open('voice_features.pkl','w')pkl.dump(dic_voice, f)f.close()因为使用的虚拟环境，我切换到了python3下：pkl.load(open('voice_features.pkl'))出现如下错误：这个问题百度了一下，发现就是版本问题，说是pytho

2018-01-06 10:00:36 395

原创 TypeError: Object dtype dtype('O') has no native HDF5 equivalent

想要将字典保存为.h5文件，出现了上面的问题，原因是h5py 不支持字典。我这里使用pickle 进行存储，绕开了上面的问题：import pickle as pkldata = xxxfile = open('test.pkl','wb+')pkl.dump(data, file)file.close()保存之后读取 with open(path+'xxx.pkl'...

2018-01-04 14:47:34 3541

原创 python yield

生成器是一个很有意思的东西，可以避免内存不够的错误，尤其是在使用了那么多的循环。yield的功能其实就是输出，直接上图：上面print() 里面是自己的操作，为了更明显，看下面的例子：

2018-01-03 22:12:51 168

原创 keras load_weights fine-tune

分享一个小技巧，就是在构建网络模型的时候，不要怕麻烦，给每一层都定义一个名字，这样在复用之前的参数权重的时候，除了官网给的先加载权重，再冻结权重之外，你可以通过简单的修改层的名字来达到加载之前训练的权重的目的，假设权重文件保存为model_pretrain.h5 ,重新使用的时候，我把想要复用的层的名字设置成一样的，然后model.load_weights('model_pretrain.h5',

2018-01-03 14:32:20 6231 3

原创 cannot assign slice from input of different size

这个问题的提示挺明显的，就是维数不匹配，问题是怎么找到这个出问题的地方。首先因为我使用的是numba 加速，编译之后运行的提示给的是cannot assign slice from input of different size 但是错误提示却无法进入函数，因为jit加速就在编译的地方，编译之后运行，导致调试的时候无法进入函数里面。只要去掉定义函数时候的@jit 重新运行，就可以定位到函数里

2018-01-02 22:18:54 1778 1

原创 numpy shape

import numpy as npy = np.zeros((2,3,4))y.shape输出(2,3,4)可以获取各个维数：dim1, dim2, dim3 = y.shape此外，shape 也可以当作reshape 使用，比如转换array的维度，从(2,3,4) 到 (3,8) ，可以直接使用：y.shape = (3,8)

2018-01-02 21:54:19 459

原创 python 32bit? 64bit?

网上的一些方法直接输入python,会显示一些信息，有的有位数信息，但是我的是anaconda虚拟环境下的，并没有后显示位数信息，输入Python后输入如下代码：import sys, platformplatform.architecture()我的输出是('64bit','ELF')

2018-01-02 14:46:16 4750

binqiang2wang