mjiansun的专栏

转载 pandas.read_csv参数整理

转自：http://www.cnblogs.com/datablog/p/6127000.htmlpandas.read_csv参数整理 读取CSV（逗号分割）文件到DataFrame也支持文件的部分导入和选择迭代更多帮助参见：http://pandas.pydata.org/pandas-docs/stable/io.html参数：filepath_or_buffer

转载 简单介绍一些关于 Kaggle 比赛的知识

转自：https://www.zhihu.com/question/23987009/answer/29371981作者：匿名用户链接：https://www.zhihu.com/question/23987009/answer/142689844来源：知乎著作权归作者所有，转载请联系作者获得授权。送一篇非常好的文章，https://dnc1994.com/2016/0

转载 numpy生成随机数组

python想要生成随机数的话用使用random库很方便，不过如果想生成随机数组的话，还是用numpy更好更强大一点。生成长度为10，在[0,1)之间平均分布的随机数组：rarray=numpy.random.random(size=10)或者rarray=numpy.random.random((10,))生成在-0.1到0.1之间的平均分布：rarray=0.2*numpy

转载 再论数据科学竞赛中的Data Leakage

越来越多的数据爱好者把注意力放在了数据竞赛上，像Kaggle数据竞赛。这类数据竞赛中，有时会遇到Data Leakage。而大部分人对Data Leakage的概念理解都是错误的。这次，我们来梳理一下Data Leakage，希望能让大家对数据中的因果关系更加重视。                                                             

转载 Ubuntu中python调用SimpleITK来显示图像

转自：http://blog.csdn.net/jiandanjinxin/article/details/53232440misc.imshowipythonimport osfrom scipy import miscdataDir = os.environ["HOME"] + "/Downloads/SimpleITK-MICCAI-2001-Tutorial-master/D

转载 glob模块中的glob.glob和golb.iglob

glob模块是最简单的模块之一，内容非常少。用它可以查找符合特定规则的文件路径名。跟使用windows下的文件搜索差不多。查找文件只用到三个匹配符：”*”, “?”, “[]”。”*”匹配0个或多个字符；”?”匹配单个字符；”[]”匹配指定范围内的字符，如：[0-9]匹配数字。glob.glob返回所有匹配的文件路径列表。它只有一个参数pathname，定义了文件路径匹配规则，这里可以是绝

转载 python any和all

假如我们想要知道矩阵a和矩阵b中所有对应元素是否相等，我们需要使用all方法，假如我们想要知道矩阵a和矩阵b中对应元素是否有一个相等，我们需要使用any方法。下面看几个例子：>>> import numpy>>> a=numpy.array([1,2,3])>>> b=a.copy>>> aarray([1, 2, 3])>>> b>>> b=a.copy()>

转载 python数据持久存储：pickle模块的基本使用

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。　　基本接口：　　pickle.dump(obj, file, [,protocol])　　注解：将对象obj保存到文件file中去。　　　　　protoc

转载 python os.path模块常用方法详解

python os.path模块常用方法详解（1）os.path模块主要用于文件的属性获取，在编程中经常用到，以下是该模块的几种常用方法。更多的方法可以去查看官方文档：http://docs.python.org/library/os.path.html  1.os.path.abspath(path) 返回path规范化的绝对路径。 >>

转载 python OrderedDict用法

Python中的字典对象可以以“键：值”的方式存取数据。OrderedDict是它的一个子类，实现了对字典对象中元素的排序。比如下面比较了两种方式的不同：mport collectionsprint 'Regular dictionary:'d={}d['a']='A'd['b']='B'd['c']='C'for k,v in d.items(): print k,v

转载 Theano官方LSTM代码解析（2）

阅读本文需要一定的Python,lstm和Theano的基础知识。     Theano是一种符号语言，它的优点在与它的自动求导机制以及GPU的透明性，缺点在于调试时极为不便。基于Theano开发的Deep Learning代码一般分为四个部分：数据准备，模型建立，预训练和训练，测试。代码按照这个顺序进行分析。Theano的LSTM代码见https://github

原创 python pip的使用记录

python pip的使用记录：安装h5py库pip install h5py卸载h5py库pip uninstall h5py更新h5py库pip install -U h5py

转载 is 和 == 的区别

Python中的对象包含三要素：id、type、value其中id用来唯一标识一个对象，type标识对象的类型，value是对象的值is判断的是a对象是否就是b对象，是通过id来判断的==判断的是a对象的值是否和b对象的值相等，是通过value来判断的如下代码或许可以帮助你理解。>>> a = 1>>> b = 1.0>>> a is bFalse>>> a == bTrue>>> id(a)12

转载 python flatten

一、用在数组派生到我的代码片 >>> a = [[1,3],[2,4],[3,5]] >>> a = array(a) >>> a.flatten() array([1, 3, 2, 4, 3, 5]) 二、用在列表如果直接用flatten函数会出错 >>> a = [[1,3],[2,4],[3,5]] >>> a

转载 Theano官方lstm代码解析（1）

因为需要使用 lstm，lstm的代码，和官方教程解释得不是很详细，故对 theano lstm进行一些分析理解。整体框架理解这份代码实现的功能是利用RNN（LSTM）对IMDB每部电影的评论页面的评论进行情感分类。这里的数据集比较特殊。一个包含所有句子的二重列表，列表的每个元素也为一个列表。大小为2的tuple，train[0][n] 代表一个句子（对于词库索引的List），tra...

原创 lstm

转载 Python标准库05 存储对象 (pickle包，cPickle包)

作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！ 在之前对Python对象的介绍中 (面向对象的基本概念，面向对象的进一步拓展)，我提到过Python“一切皆对象”的哲学，在Python中，无论是变量还是函数，都是一个对象。当Python运行时，对象存储在内存中，随时等待系统的调用。然而，内存里的数据会随着计算机关机和消失

转载 python imdb中的IMDb

IMDbPY 是一个 Python 包用来获取和管理 IMDb 电影数据库上关于电影、人物、演员以及公司数据，它可从 IMDb 上获取数据并在本地拷贝存储。程序员可以通过它来轻松访问 IMDb 的数据。from imdb import IMDbia = IMDb()the_matrix = ia.get_movie('0133093')print the_matrix['directo

转载 python 内置map()和six.moves.map()区别

Python内置map返回的是列表，而six.moves.map返回的是iter。>>> map(lambda a: a*2, [1, 2, 3]) [2, 4, 6] >>> m = six.moves.map(lambda a: a*2, [1, 2, 3]) >>> type(m) >>> next(m) 2 >>> next(m) 4 >>> m.

转载 theano lstm官方教程

本文的主要目的是修改其中一些代码，避免其中的一些问题使得Theano中LSTM示例代码运行起来，如果你也是菜鸟刚刚入坑，希望该方法能帮助到你官方教程链接戳这里    教程中让我们下载imdb.py和lstm.py之后将两个文件放在一个文件夹中，然后在命令行中运行即可。我在命令行中输入如下指令：python D:\tutorial\lstm.py    然而运行过程错误不断，

转载 IndentationError: unexpected indent python格式问题

都知道python是对格式要求很严格的，写了一些python但是也没发现他严格在哪里，今天遇到了IndentationError: unexpected indent错误我才知道他是多么的严格。    以后遇到了IndentationError: unexpected indent你就要知道python编译器是在告诉你“Hi，老兄，你的文件里格式不对了，可能是tab和空格没对齐的问题，你需要检

原创 zip不能被解压

压缩命令zip -r xxxx.zipls -l 查看文件大小 压缩zip格式也有6.2G-rw-r--r-- 1 root root 3826207807 01-01 00:01 xxxx.zip新准备的机器 将xxxx.zip 文件拷贝到新服务器通过 unzip xxxx.zip 出现错误[XXXXXXXX]# unzip xxxx.zipArch

转载 numpy的简单入门

1、Numpy是什么很简单，Numpy是Python的一个科学计算的库，提供了矩阵运算的功能，其一般与Scipy、matplotlib一起使用。其实，list已经提供了类似于矩阵的表示形式，不过numpy为我们提供了更多的函数。如果接触过matlab、scilab，那么numpy很好入手。 在以下的代码示例中，总是先导入了numpy：复制代码代码如下:>>> imp

转载 matplotlib.pyplot介绍

matplotlib.pyplot介绍matplotlib的pyplot子库提供了和matlab类似的绘图API，方便用户快速绘制2D图表。matplotlib.pyplot是命令行式函数的集合，每一个函数都对图像作了修改，比如创建图形，在图像上创建画图区域，在画图区域上画线，在线上标注等。下面简单介绍一下pyplot的基本使用：（1）使用plot()函数画图 plot

转载 Excel 有哪些可能需要熟练掌握而很多人不会的技能？

Excel 有哪些可能需要熟练掌握而很多人不会的技能？回答有些长，为节约大家的时间，我选取了一个经典案例，辅以详细的说明（中文版 Excel2013）放在开头，没时间看全部回答的品一下这个案例就好了。这个案例充分体现了“将 Excel 的元素融入图表”的技巧。以下商业杂志图表均利用了这一技巧。下图是我参照上图制作的图表。看完详细的绘制步骤后，你将深刻体会到这一技巧的奥妙

转载 numpy.eye() 生成对角矩阵

numpy.eye(N,M=None, k=0, dtype=)关注第一个第三个参数就行了第一个参数：输出方阵（行数=列数）的规模，即行数或列数第三个参数：默认情况下输出的是对角线全“1”，其余全“0”的方阵，如果k为正整数，则在右上方第k条对角线全“1”其余全“0”，k为负整数则在左下方第k条对角线全“1”其余全“0”。>>> np.eye(2, dtype=

原创 【Git】命令使用

clone命令使用下载github中提到的所有文件$ git clone --recursive https://github.com/jquery/jquery.git--recursive 会递归克隆fast-rcnn项目下面的所有git项目远程操作的第一步，通常是从远程主机克隆一个版本库，这时就要用到git clone命令。$ git clone <版本库的网...

转载 Ubuntu16.04下使用sublime text3搭建Python IDE

本来是想用pycharm，但你看它的内存要求，我的虚拟机一共也就1GVim太别扭了，就算有代码颜色，不能自动对齐，不能规范格式，跳转到函数定义，显示文档，要配置起来太费劲，所以就尝试着用sublime text3 来搭建Python IDE 安装sublime text3目前最简单的方法是通过ppa安装，打开终端，输入以下命令：sudo add-apt-reposito

转载 python中的staticmethod

python中的staticmethod 主要是方便将外部函数集成到类体中,美化代码结构,重点在不需要类实例化的情况下调用方法如果你去掉staticmethod,在方法中加self也可以通过实例化访问方法也是可以集成代码 1)先看看不使用staticmethod的代码如何写的  2)再看看使用staticmethod的代码,用staticme

转载 eval exec execfile 使用方法

此日志为转载，原文链接：http://skandgjxa.blog.163.com/blog/static/1415298201010262403483/有待改进！eval(str [,globals [,locals ]])函数将字符串str当成有效Python表达式来求值，并返回计算结果。同样地, exec语句将字符串str当成有效Python代码来执行

转载 imfilter、conv2、imfilter2用法及区别

imfilter实现的是线性空间滤波； conv2是计算两个矩阵的二维卷积1、MATLAB中提供了卷积运算的函数命令conv2，其语法格式为： C = conv2(A,B) C = conv2(A,B)返回矩阵A和B的二维卷积C。若A为ma×na的矩阵，B为mb×nb的矩阵，则C的大小为(ma+mb+1)×(na+nb+1)。 2、MATLAB图像处理工具箱提供了基于卷积的图象滤波函数filter...

转载 imfilter使用方法

功能：对任意类型数组或多维图像进行滤波。用法：B = imfilter(A,H)　　　B = imfilter(A,H,option1,option2,...)　　　或写作g = imfilter(f, w, filtering_mode, boundary_options, size_options)其中，f为输入图像，w为滤波掩模，g为滤波后图像。filtering_mode用

转载 matlab找连通区域的bwlabel函数的使用

用法：    L = bwlabel(BW,n)    返回一个和BW大小相同的L矩阵，包含了标记了BW中每个连通区域的类别标签，这些标签的值为1、2、num（连通区域的个数）。n的值为4或8，表示是按4连通寻找区域，还是8连通寻找，默认为8。    4连通或8连通是图像处理里的基本感念：而8连通，是说一个像素，如果和其他像素在上、下、左、右、左上角、左下角、右上角或右下角连接着，则认

原创 matlab找到图像的最大连通区域

必须内部是填满的，封闭的一个区域。方法一：im4=imfill(im3,'holes'); [L,num]=bwlabel(im4,4);x=zeros(1,num);for ii=1:num   x(ii)=sum(sum(L==ii));end[m,ind]=max(x);bw_img=(L==ind);figure,imshow(bw_img,

转载 matlab 二值图像 外轮廓提取

转自：http://blog.sina.com.cn/s/blog_6f2d29af0101065p.html**注意：填充时，轮廓线是闭合连续的im=imread(filepath); %读取原图figure,imshow(im,[]);title('Raw'); %显示原图im=im2bw(im);

转载 使用Matlab对二值图像进行轮廓提取

转自：http://blog.csdn.net/q1302182594/article/details/50394576 本文主要总结一下在matlab中可用于进行轮廓提取的函数。1 bwperim    根据参考资料[2]的提示，可以使用bwperim()函数进行轮廓提取，具体代码如下：%读取原图 im = imread( filepath );

转载 matlab zscore函数 数据的标准化处理

转自：http://blog.sina.com.cn/s/blog_728fa7830101di18.html  在数据分析之前，我们通常需要先将数据标准化（normalization），利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同

原创 matlab均值、方差函数

经常要用到，系统整理了一下。 1、 均值Matlab函数：mean>>X=[1,2,3]>>mean(X)=2 如果X是一个矩阵，则其均值是一个向量组。mean(X,1)为列向量的均值，mean(X,2)为行向量的均值。>>X=[1 2 3     4 5 6]>>mean(X,1)=[2.5, 3.5, 4.5]>>mean(X,2)=[2