2016年10月_mishidemudong

12月 11月 10月 09月 08月 07月 06月 05月 01月

转载 lambda表达式概述

一、lambda函数1、lambda函数基础：lambda函数也叫匿名函数，即，函数没有具体的名称,而用def创建的方法是有名称的。如下："""命名的foo函数"""def foo():return 'beginman' #Python中单行参数可以和标题写在一行"""lambda关键字创建匿名函数,该表达式同以上函数"""lambda:'beginman

2016-10-31 14:52:33 278

原创先随机化数据对分类效果的影响

首先，用了python自带的shuffle函数对原始样本进行随机化，发现两个缺点，1 效率不高，计算速度较慢。2 对分类结果提高不大，有可能还降低准确度。所以考虑另外一种随机方法对样本进行有效的随机排序。在参考了excel的rand（）函数排序方法之后，在Python上为每一条样本产生一个随机数，然后在根据此随机数对整个样本集进行降序或升序排序，这样的操作之后，分类准确度确实提高了不

2016-10-31 14:35:49 517

转载 python产生随机数组

研究排序问题的时候常常需要生成随机数组来验证自己排序算法的正确性和性能，今天把Python生成随机数组的方法稍作总结，以备以后查看使用。一、使用random模块生成随机数组python的random模块中有一些生成随机数字的方法，例如random.randint， random.random, random.uniform, random.randrange,这些函数大同小异，均是

2016-10-31 14:07:57 5503

转载给numpy矩阵添加一列

问题的定义：首先我们有一个数据是一个m n的numpy矩阵现在我们希望能够进行给他加上一列变成一个m (n+1)的矩阵import numpy as npa = np.array([[1,2,3],[4,5,6],[7,8,9]])b = np.ones(3)c = np.array([[1,2,3,1],[4,5,6,1],[7,8,9,1]])print(a)print(

2016-10-28 16:17:57 22530 1

转载干货：结合Scikit-learn介绍几种常用的特征选择方法

特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。特征选择主要有两个功能：减少特征数量、降维，使模型泛化能力更强，减少过拟合增强对特征和特征值之间的理解拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，我们经常不管三七二十一，选择一种自

2016-10-27 15:19:20 517

原创 Python中is和==的区别

Python中的对象包含三要素：id、type、value其中id用来唯一标识一个对象，type标识对象的类型，value是对象的值is判断的是a对象是否就是b对象，是通过id来判断的==判断的是a对象的值是否和b对象的值相等，是通过value来判断的

2016-10-26 16:27:55 288

转载 ROC和AUC在python中metrics上的实现

ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣，对两者的简单介绍见[这里](http://bubblexc.com/y2011/148/)。这篇博文简单介绍ROC和AUC的特点，以及更为深入地，讨论如何作出ROC曲线图以及计算AUC。# ROC曲线需要提前说明的是，我们这里只

2016-10-25 17:25:24 19915 1

转载几个常用算法的适应场景及其优缺点（非常好）

本文主要回顾下几个常用算法的适应场景及其优缺点！机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热，神经网络也是一个不错的选择。假如你在乎精度（accuracy）的话，最好的方法就是通过交叉验

2016-10-25 10:03:58 72858 4

转载 Random Forest和Gradient Tree Boosting模型如何调参

作者：城东链接：https://www.zhihu.com/question/34470160/answer/114305935来源：知乎著作权归作者所有，转载请联系作者获得授权。我来讲一讲Random Forest和Gradient Tree Boosting这两个模型是如何调参的好了，以下引自于我的博文：使用sklearn进行集成学习——实践系列《使用skl

2016-10-25 09:37:47 909

转载 excel如何随机打乱数据

以前在群发邮件的时候，自己所有的邮件地址大部分都是同一后缀域名的地址排在一起，为了提高邮件成功送达率，最好是将邮件地址打乱，让不同域名的邮箱地址混合在一起，这个可以利用excel的一个rand函数来处理。下面就介绍一下方法。备注：A.这里先用少量数据做一个举例B.此方法不仅适合邮箱地址，还适合其他数据将邮箱地址列表复制到excel表中，如下图在B

2016-10-24 17:43:53 4507

转载 xgboost: 速度快效果好的boosting模型

本文作者：何通，SupStat Inc(总部在纽约，中国分部为北京数博思达信息科技有限公司）数据科学家，加拿大Simon Fraser University计算机学院研究生，研究兴趣为数据挖掘和生物信息学。主页：https://github.com/hetong007引言在数据分析的过程中，我们经常需要对数据建模并做预测。在众多的选择中，randomForest, gb

2016-10-24 17:34:53 1108

目前做二分类预测xgboost是效果最好的分类器，在kaggle等数据挖掘竞赛上的表现从未令人失望过。喜欢R的朋友可以直接在CRAN上下载xgboost包（install.pakages(‘xgboost’)）。而Python用户都深受安装新包的痛楚，由于xgboost作者删除了github上的windows目录，导致无法安装最新xgboost版本。今天我就教大家如何在python下安装较早版但也

2016-10-24 17:14:36 1671

原创 python sklearn 分类算法简单调用（借鉴）

scikit-learn已经包含在Anaconda中。也可以在官方下载源码包进行安装。本文代码里封装了如下机器学习算法，我们修改数据加载函数，即可一键测试：数据为近红外测试猕猴桃软硬和时间差异的数据，可以作为分类软硬以及前后时间差的分类。[python] view plain copy # coding=gbk ''

2016-10-24 15:35:57 2451

转载 DataFrame切片操作！

DataFrame数据框允许我们使用iloc方法来像操作array（数组）一样对DataFrame进行切片操作，其形式上，跟对数组进行切片是一样的，我们下面来演示一下一些典型的切片操作：先创建一个6行4列的DataFrame数据框使用iloc方法，提取第四行数据：我们可以看一下，这种方法得到的返回值是一个series数据返回4-5行，1-2列数据

2016-10-20 15:48:04 22011 1

转载 Python中通过csv的writerow输出的内容有多余的空行

【问题】Python中，通过csv的writerow输出内容：?1234567 #output all info dict list outputFp=open(gConst['csvFilename'],'a+'); csvWr

2016-10-20 11:51:01 12042 1

转载 Python 之使用 PIL 库做图像处理

Python 之使用 PIL 库做图像处理1. 简介。图像处理是一门应用非常广的技术，而拥有非常丰富第三方扩展库的 Python 当然不会错过这一门盛宴。PIL （Python Imaging Library）是 Python 中最常用的图像处理库，目前版本为 1.1.7，我们可以在这里下载学习和查找资料。 Image 类是 PIL 库中一个非常重要的类，通过这

2016-10-19 17:13:14 725

转载用Python做图像处理(PIL库的使用)

用Python做图像处理最近在做一件比较 evil 的事情——验证码识别，以此来学习一些新的技能。因为我是初学，对图像处理方面就不太了解了，欲要利吾事，必先利吾器，既然只是做一下实验，那用 Python 来作原型开发再好不过了。在 Python 中，比较常用的图像处理库是 PIL(Python Image Library)，当前版本是 1.1.6 ，用起来非常方便。大家可

2016-10-19 16:12:14 6251

转载理解Python的With as语句

《Python标准库》上这么一句话：[python] view plain copy with open('filename', 'wt') as f: f.write('hello, world!') 我不明白为什么这样写，下面这篇文章对此做出了解释原文地址：http://python.4

2016-10-19 15:13:59 440

原创 python删除pandas DataFrame的某一/几列

删除pandas DataFrame的某一/几列：方法一：直接del DF['column-name']方法二：采用drop方法，有下面三种等价的表达式：1. DF= DF.drop('column_name', 1)；2. DF.drop('column_name',axis=1, inplace=True)3. DF.drop

2016-10-19 14:19:50 72429

原创 python 异常类型

1、NameError：尝试访问一个未申明的变量>>> vNameError: name 'v' is not defined2、ZeroDivisionError：除数为0>>> v = 1/0ZeroDivisionError: int division or modulo by zero3、SyntaxError：语法错误>>> int intSyn

2016-10-18 16:24:02 495

转载 python try/except/finally的用法

稍微总结一下，否则总是忘。[python] view plain copy print?x = 'abc' def fetcher(obj, index): return obj[index] fetcher(x, 4) 输出：[plain] view plain copy

2016-10-18 14:17:25 5353

转载 pandas io tools（使用python处理数据时候经常用到）读csv，TXT

CSV & Text filesThe two workhorse functions for reading text files (a.k.a. flat files) are read_csv() and read_table(). They both use the same parsing code to intelligently convert tabular data in

2016-10-18 11:04:31 4037

转载 Python函数式编程——map()、reduce()

提起map和reduce想必大家并不陌生，Google公司2003年提出了一个名为MapReduce的编程模型[1]，用于处理大规模海量数据，并在之后广泛的应用于Google的各项应用中，2006年Apache的Hadoop项目[2]正式将MapReduce纳入到项目中。好吧，闲话少说，今天要介绍的是Python函数式编程中的另外两个内建函数map()和reduce()，而不是Google

2016-10-14 15:28:57 299

转载 Python内置函数map与reduce用法简介

map与reduce是两个十分常用的Python内置函数，它们与Hadoop中的MapReduce在某些方面有一定的相似之处。map函数：map(function, iterable, ...)对于可迭代对象（iterable）中的每一个元素调用处理函数（function），并以列表（list）形式返回每个元素的调用结果。如果传递了不止一个可迭代对象参数，函数从各个可迭代对象中取出相同

2016-10-14 10:17:20 615

转载 [Java 8] (1) 函数式编程简介

思维方式的转变以从一个城市集合中寻找是否存在Chicago为例：习惯的方式boolean found = false;for(String city : cities) { if(city.equals("Chicago")) { found = true; break; }}System.out.println("Fo

2016-10-14 09:51:31 378

转载 Java FP（Java8）: Java中函数式编程的Map和Fold(Reduce)

在函数式编程中，Map和Fold是两个非常有用的操作，它们存在于每一个函数式编程语言中。既然Map和Fold操作如此强大和重要，但是Java语言缺乏Map和Fold机制，那么该如何解释我们使用Java完成日常编码工作呢？实际上你已经在Java中利用手动编写循环的方式实现了Map和Fold操作（译者注：许多动态语言如python都提供了内置的实现）。免责声明：本篇文章仅仅只是一篇入门简介，并

2016-10-14 09:36:40 1916

转载 Java lambda表达式的应用

1. 什么是λ表达式λ表达式本质上是一个匿名方法。让我们来看下面这个例子： public int add(int x, int y) { return x + y; }转成λ表达式后是这个样子： (int x, int y) -> x + y;参数类型也可以省略，Java编译器会根据上下文推断出来：

2016-10-13 16:17:53 1071

原创 'module' object has no attribute 'MLPRegressor'问题解决（Python2.7）

'module' object has no attribute 'MLPRegressor' 如题，在做神经网络回归时，发现2.7下的sklearn包不是最新的0.18，而重新easy_install sklearn又不能更新，此时只需使用easy_install scikit-neuralnetwork 命令更新神经网络包，会同时自动更新sklearn版本为0.18

2016-10-13 11:20:09 2699

转载关于Python的主（main）函数的原理

主函数调用函数的小程序： 1 import sys 2 def Fuc(): 3 print 'hello' 4 5 if __name__ == '__main__': 6 if len(sys.argv) != 3: 7 print 'Usage: python input_name output_name' 8

2016-10-13 09:39:03 44978 1

原创模板方法模式(python)

模板方法模式：定义一个操作中的算法的骨架，而将一些步骤延迟到子类中。因此模板方法使得子类可以在不改变一个算法的结构的情况下重新定义该算法的某些特定变量。优点：把不变行为搬移到超类，去除子类中的重复代码。[python] view plain copy#encoding=utf-8 # #by panda #模板方

2016-10-13 09:20:22 497

转载 python矩阵转换为一维数组

python矩阵转换为一维数组>>>from compiler.ast import flatten>>>Xmatrix([[ 1, 17, 13, 221, 289, 169], [ 1, 17, 14, 238, 289, 196], [ 1, 17, 15, 255, 289, 225], [ 1, 18, 1

2016-10-11 15:57:57 5335

转载 SPSS学习笔记之——二项Logistic回归分析

一、概述Logistic回归主要用于因变量为分类变量（如疾病的缓解、不缓解，评比中的好、中、差等）的回归分析，自变量可以为分类变量，也可以为连续变量。他可以从多个自变量中选出对因变量有影响的自变量，并可以给出预测公式用于预测。因变量为二分类的称为二项logistic回归，因变量为多分类的称为多元logistic回归。下面学习一下Odds、OR、RR的概念：在病例

2016-10-10 09:22:49 18276 1

转载 dispy,asyncoro实现的分布式并行计算框架

dispy：asyncoro实现的分布式并行计算框架。一个对asyncoro很有说明性的案例。框架也是非常精简，只有4个组件dispy.py (client) provides two ways of creating "clusters": JobCluster when only one instance of dispy may run and SharedJobCl

2016-10-09 16:26:40 1382

转载 Parallel Python实现python程序的并行及多cpu多核利用

为啥要这个模块：Python是解释型的语言,而Python解释器使用GIL(全局解释器锁)来在内部禁止并行执行,正是这个GIL限制你在多核处理器上同一时间也只能执行一条字节码指令. 听朋友说python 3.0 里面已经改进, 默认有了多处理器编程的库了. Python2.XX暂时还不支持。Parallel Python 这个库,正是为支持smp多路多核多cpu而设计的, 而且它

2016-10-09 14:32:57 46100 1

转载 Python 数据处理扩展包： pandas 模块的DataFrame介绍（创建和基本操作）

DataFrame是Pandas中的一个表结构的数据结构，包括三部分信息，表头（列的名称），表的内容（二维矩阵），索引（每行一个唯一的标记）。一、DataFrame的创建有多种方式可以创建DataFrame，下面举例介绍。例1：通过list创建>>> import pandas as pd>>> df = pd.DataFrame([[1,2,3],[4,5

2016-10-08 17:40:41 38999 1

转载多元线性回归的python实现

1、什么是多元线性回归模型？当y值的影响因素不唯一时,采用多元线性回归模型。 y =y=β0+β1x1+β2x2+...+βnxn 例如商品的销售额可能不电视广告投入,收音机广告投入,报纸广告投入有关系,可以有 sales =β0+β1*TV+β2* radio+β3*newspaper.2、使用pandas来读取数据

2016-10-08 15:37:00 28170 4