Python
wangshuang1631
雄关漫道真如铁,而今迈步从头越
展开
-
Python中String与时间戳、datetime转换
在Python使用过程中经常回遇到时间格式转换的问题,下面说说我在编程中遇到的情况。一般的转换时间需要导入以下两个包:import datetimeimport time1、string格式转换成datetime格式string = '2016-08-26'date_time = datetime.datetime.strptime(string,'%Y-%m-%d')2、原创 2016-08-26 13:47:55 · 7642 阅读 · 0 评论 -
《利用Python进行数据分析》笔记---第2章--来自bit.ly的1.usa.gov数据
写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的: 我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8import jsonpath = 'D:\Source Code\pydata-book-master\c原创 2017-08-01 10:11:42 · 5638 阅读 · 1 评论 -
《利用Python进行数据分析》笔记---第2章--MovieLens 1M数据集
写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8import pandas as pdunames = ['user_id','gender','age','原创 2017-08-01 10:14:16 · 5125 阅读 · 0 评论 -
《利用Python进行数据分析》笔记---第2章--1880-2010年间全美婴儿姓名
写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8import pandas as pdimport numpy as npnames1880 = pd.re原创 2017-08-01 10:16:49 · 4363 阅读 · 1 评论 -
《利用Python进行数据分析》笔记---第6章数据加载、存储与文件格式
写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8from pandas import Series, DataFrameimport pandas as pd原创 2017-08-08 13:42:42 · 3254 阅读 · 0 评论 -
《利用Python进行数据分析》笔记---第7章数据规整化:清理、转换、合并、重塑
写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8from pandas import Series, DataFrameimport pandas as pd原创 2017-08-09 15:53:27 · 3120 阅读 · 1 评论 -
《利用Python进行数据分析》笔记---第8章绘图和可视化
写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8from pandas import Series, DataFrameimport pandas as pd原创 2017-08-09 17:48:53 · 3061 阅读 · 0 评论 -
《利用Python进行数据分析》笔记---第4章NumPy基础:数组和矢量计算
写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8import numpy as npdata1 = [6.,7.5,8.,0.,1.]arr1 = np.ar原创 2017-08-02 19:17:38 · 3964 阅读 · 0 评论 -
《利用Python进行数据分析》笔记---第9章数据聚合与分组运算
写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8from pandas import Series, DataFrameimport pandas as pd原创 2017-08-10 14:34:19 · 2853 阅读 · 1 评论 -
《利用Python进行数据分析》笔记---第10章时间序列
写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8from __future__ import divisionfrom pandas import Serie原创 2017-08-10 16:13:35 · 3005 阅读 · 0 评论 -
《利用Python进行数据分析》笔记---第11章金融和经济数据应用
写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8import numpy as npimport pandas as pdfrom pandas impor原创 2017-08-11 11:24:26 · 3972 阅读 · 0 评论 -
《Python机器学习及实践》----模型实用技巧
本片博客是根据《Python机器学习及实践》一书中的实例,所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的,或者是sklearn自带数据下载到本地使用的。 代码片段:measurements = [{'city': 'Dubai','temperature': 33},{'city': 'London','temperature': 12.},{'city': 'San Fransi原创 2017-09-13 15:11:33 · 3568 阅读 · 0 评论 -
《Python机器学习及实践》----良/恶性乳腺癌肿瘤预测
本片博客是根据《Python机器学习及实践》一书中的实例,所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的。 代码片段:import pandas as pdimport matplotlib.pyplot as pltimport numpy as npfrom sklearn.linear_model import LogisticRegressiondf_train = p原创 2017-09-11 17:06:41 · 6593 阅读 · 3 评论 -
《Python机器学习及实践》----监督学习经典模型
本片博客是根据《Python机器学习及实践》一书中的实例,所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的,或者是sklearn自带数据下载到本地使用的。 代码片段:import pandas as pdimport numpy as npcolumn_names = ['Sample code number', 'Clump Thickness', 'Uniformity of原创 2017-09-12 16:05:57 · 3202 阅读 · 0 评论 -
《Python机器学习及实践》----无监督学习之数据聚类
本片博客是根据《Python机器学习及实践》一书中的实例,所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的,或者是sklearn自带数据下载到本地使用的。 代码片段:# coding: utf-8# 分别导入numpy、matplotlib以及pandas,用于数学运算、作图以及数据分析。import numpy as npimport matplotlib.pyplot as原创 2017-09-12 16:48:22 · 3822 阅读 · 0 评论 -
《利用Python进行数据分析》笔记---第5章pandas入门
写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8from pandas import Series, DataFrameimport pandas as p原创 2017-08-07 17:49:22 · 2976 阅读 · 0 评论 -
TypeError: pivot_table() got an unexpected keyword argument 'rows'
利用Python进行数据分析》第二章,处理MovieLens 1M数据集,有句代码总是报错:mean_rating = data.pivot_table('rating', rows='title', cols='gender', aggfunc='mean')报错信息如下:Traceback (most recent call last): File "D:\Users\wangshuang8原创 2017-07-31 16:06:32 · 5611 阅读 · 0 评论 -
Pandas中resample方法详解
Pandas中的resample,重新采样,是对原样本重新处理的一个方法,是一个对常规时间序列数据重新采样和频率转换的便捷的方法。方法的格式是:DataFrame.resample(rule, how=None, axis=0, fill_method=None, closed=None, label=None, convention='start',kind=None, loffset=原创 2016-08-25 15:24:53 · 116449 阅读 · 3 评论 -
Python并行运算模块Parallel Python简介
一、概览PP是一个python模块,提供在SMP(具有多个处理器或多核的系统)和集群(通过网络连接的计算机)上并行执行python代码的机制。它轻巧,易于安装和与其他python软件集成。PP是一个用纯Python编写的开源和跨平台模块。二、特性在SMP和集群上并行执行python代码易于理解和实现基于Job的并行化技术(易于并行转换串行应用程序)自动检测最佳配置(默认情况下工作进程数设置为有原创 2016-11-17 09:59:22 · 31766 阅读 · 0 评论 -
使用Python连接postgresql数据库
使用Python连接postgresql数据库的配置非常简单,仅仅需要三步:1、导入psycopg2包;2、设置连接3、取数据#-*- coding:utf-8 -*-import psycopg2conn = psycopg2.connect(database='aa',user='username',password='123456',host='192.168.131.2原创 2016-08-19 19:05:05 · 21941 阅读 · 0 评论 -
Python学习笔记--DataFrame使用
def defr_2002070000(date_this): #,bank_raw_all dd={'company_id':[13484491,13484491,25885969,33333333], 'signal_code':['r_1005050000','r_1005050000','r_1005050000','r_1005050000'],原创 2016-08-18 20:55:21 · 6499 阅读 · 0 评论 -
使用Python的Dataframe取两列时间值相差一年的所有行
在使用Python处理数据时,经常需要对数据筛选。这是在对时间筛选时,判断两列时间是否相差一年,如果是,则返回符合条件的所有列。data原始数据:data[map(lambda x:datetime.date(x.year-1,x.month,x.day),data['report_date'])==data['date_1y_ago']] company_id signal_c原创 2016-08-20 18:39:07 · 14695 阅读 · 0 评论 -
10 Minutes to pandas----十分钟搞定Pandas
本文是对官方网站上《10 Minutes to pandas》的一个简单的翻译,原文地址是:http://pandas.pydata.org/pandas-docs/stable/10min.html这篇文章是对pandas的一个简单的介绍,由于出身非英语专业,错误在所难免,还望指正。中肯建议:英语水平只要是说的过去的,建议看官方文档!!!习惯上,我们会按下面格式引入所原创 2016-08-22 13:54:43 · 7880 阅读 · 2 评论 -
实时获取Python的print输出流
我的应用场景是:使用shell执行python文件,并且通过调用的返回值获取python的标准输出流。 shell程序如下:cmd='python '$1' '$2' '$3' '$5' '$4RESULT=eval $cmdecho $RESULT之前我的写的python程序如下:# coding: utf-8import timeimport jsondef execute(_data原创 2016-12-27 16:02:55 · 18312 阅读 · 0 评论 -
Shell执行python程序的缓冲区问题
环境:Linux 一段执行时间很长的Python程序在linux后台执行,把结果输出到某文件:cmd='python '$1' '$2' '$3' '$5' '$4RESULT=eval $cmdecho $RESULT注:1,2,3,4,5为系统参数,指向Python文件及向Python传入的参数。 遇到的问题,程序没报错,echo却没有任何输出。 按照前一篇博客的方法可以解决这个问题原创 2016-12-27 17:12:38 · 1897 阅读 · 0 评论 -
几种Python执行时间的计算方法
首先说一下我遇到的坑,生产上遇到的问题,我调度Python脚本执行并监控这个进程,python脚本运行时间远远大于python脚本中自己统计的程序执行时间。 监控python脚本执行的时间是36个小时,而python脚本中统计自己执行的时间是4个小时左右。 问题暴漏之后首先想到的是linux出了问题,查找各种日志未发现有何异常。 然后是想到python中用到的py2neo的写数据异步,阻塞进程原创 2017-01-09 10:22:42 · 200659 阅读 · 8 评论 -
Linux下安装Python的cx_Oracle模块
python 想远程访问 Oracle 数据库,需要 cx_Oralce 模块,又依赖Oracle Instant Client 代替完整的Oracle Clien 我的系统是Linux x86-64 ,可以输入 uname -a 命令来查看。所以下载以下两个文件:basic和sdk。 instantclient-basic-linux.x64-11.2.0.3.0.zip instantcl原创 2017-05-01 17:47:37 · 13799 阅读 · 8 评论 -
Shell执行python文件,传参空格引起的问题
使用shell调用一个python文件,并向shell中传入参数,举例如下:p1='wang'p2='shuang'python py文件 $p1 $p2这种情况可以正常执行,py文件接收p1和p2两个参数 但是,当p1中有空格时就会出现问题:p1='wa ng'p2='shuang'python py文件 $p1 $p2这时py文件接收的第一参数是wa,第二个参数是ng,从而出现错误。解原创 2017-04-25 17:19:03 · 9202 阅读 · 2 评论 -
python递归实现字典中的Unicode对象encode成str
Python自带的Json库会把json文件load成Unicode对象。如果想要变成str对象的话,就要自己去encode。个人认为这是python2.7中存在的一个坑,不过据说python3.x中此坑已修复。 下面上代码,是在网上找到的,亲测好用。def byteify(input): if isinstance(input, dict): return {byteif原创 2017-05-09 15:36:22 · 6067 阅读 · 3 评论 -
Python编码中的坑及处理方法
Python虐我千百遍,我待Python如初恋。 使用Python编写模型脚本,其中Python的编码让我一路采坑。首先报的一个错误就是:Traceback (most recent call last):File "<stdin>", line 1, in <module>UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in原创 2017-05-09 16:20:51 · 2471 阅读 · 0 评论 -
Python报错IOError: [Errno 22] invalid mode ('r') or filename
IOError: [Errno 22] invalid mode (‘r’) or filename: 这种错误的出现是在使用built-in函数file()或者open()的时候。 或者是因为文件的打开模式不对,或者是文件名有问题。 前者的话只需要注意文件是否可读或者可写就可以了。 后者则是与文件路径相关的问题,需要在文件名前加r或者R转义,如:file(r”e:\Test.txt”,’r原创 2017-07-31 15:38:42 · 16821 阅读 · 0 评论 -
《Python机器学习及实践》----无监督学习之特征降维
本片博客是根据《Python机器学习及实践》一书中的实例,所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的,或者是sklearn自带数据下载到本地使用的。 代码片段:# coding: utf-8import numpy as npM = np.array([[1, 2], [2, 4]])np.linalg.matrix_rank(M, tol=None)import pan原创 2017-09-12 17:31:54 · 3591 阅读 · 1 评论