pandas应用
pandas数据分析基础应用
Pywin
这个作者很懒,什么都没留下…
展开
-
pandas中去除指定字符
例表:假如想要去掉表中的‘#’,‘;’而且以‘#’和‘;’为分割线切割数据:#将dfxA_2的每一个分隔符之间的数据提出来col1=dfxA_2['travel_seq'].str.split('#').str[0]col2=dfxA_2['travel_seq'].str.split('#').str[1]col3=dfxA_2['travel_原创 2017-03-20 13:39:31 · 36474 阅读 · 0 评论 -
pandas基于时间序列的固定时间间隔求均值
如果index是时间序列就不用转datetime;但是如果时间序列是表中的某一列,可以把这一列设为index例如:代码:DF=df2.set_index(df1['time_slot1'])DF.index=pd.to_datetime(DF.index,unit='ns')ticket=DF.ix[:,['all_time']]#以20分钟为一个时间间隔,求出所有间隔的平均原创 2017-03-27 10:27:50 · 10672 阅读 · 2 评论 -
pandas从时间序列中判断是一周的第几天或星期几
例如:要判断每个时间是一周中的第几周或者星期几,代码:#把时间列标准化时间格式df['time_slot1']=pd.to_datetime(df['time_slot1'])#输出这一天是周中的第几天,Monday=0, Sunday=6df['dayofweek']=df['time_slot1'].dt.dayofweek#查看一周的第几天的结果print df['da原创 2017-03-27 10:54:38 · 21567 阅读 · 0 评论 -
pandas 根据多列的数据的值的情况判断来生成另外一列的数值?
根据两列数据的自定义函数产生新的一列数据def do_merchant(x,y): return y/xA_2Vehicle_count['vehicle_count']=map(lambda x,y:do_merchant(x,y),A_2Vehicle_count['ave_time'],A_2Vehicle_count['sum_time'])A_2Vehicle_count是原创 2017-03-27 11:21:01 · 17209 阅读 · 5 评论 -
pandas如何取出表中一列数据所有的值并转换为array类型
# -*-coding: utf-8 -*-import pandas as pd#读取csv文件df=pd.read_csv('A_2+20+DoW+VC.csv')#求‘ave_time’的平均值aveTime=df['ave_time'].mean()#把ave_time这列的缺失值进进行填充,填充的方法是按这一列的平均值进行填充df2=df.fillna(aveTime)#原创 2017-04-13 14:04:15 · 68423 阅读 · 0 评论 -
pandas中如何计算一个时间序列有多少天
假如有这么个时间序列:这只是一部分数据,数据可能一直到9月19号的,如何去根据这一列时间数据去计算有多少天呢?需要用到python中的pandas库和datetime库# 把处理过的这一列的数据取出来col=df2.iloc[:,2]#因为col带有index值和values值,真正需要的值就是values,取出来的值是Series的类型arrs=col.values#原创 2017-04-14 15:46:29 · 4031 阅读 · 1 评论 -
pandas 把数据写入txt文件每行固定写入一定数量的值
我遇到的情况是:把数据按一定的时间段提出。比如提出每天6:00-8:00的每个数据,可以这样做:# -*-coding: utf-8 -*-import pandas as pdimport datetime#读取csv文件df=pd.read_csv('A_2+20+DoW+VC.csv')#求'ave_time'这一列的平均值aveTime=df['ave_time'].me原创 2017-04-14 22:45:59 · 14307 阅读 · 0 评论 -
pandas选取一列画直方图
#-*- coding:utf-8 -*-import pandas as pdimport numpy as npdf=pd.DataFrame(np.random.rand(100,4),columns=list('abcd'))d=df['a'].hist().get_figure()d.savefig('2.jpg')结果:原创 2017-09-02 22:13:39 · 14362 阅读 · 0 评论 -
pandas画柱状图,线形图
#-*- coding:utf-8 -*-import pandas as pdimport numpy as npdf=pd.DataFrame(np.random.rand(10,4),columns=list('ABCD'))pd.set_option('mpl_style','default')plt=df.plot(kind='bar',stacked=True).get_fi原创 2017-09-02 22:28:22 · 4057 阅读 · 0 评论 -
pandas中绘制简单的Series图表
#-*- coding:utf-8 -*-import numpy as npfrom pandas import Seriess=Series(np.random.randn(10).cumsum(),index=np.arange(0,100,10))plt=s.plot().get_figure()plt.savefig('5.jpg')结果:原创 2017-09-02 22:51:22 · 1729 阅读 · 0 评论 -
pandas中grouopby使用(一)
#-*- coding:utf-8 -*-import pandas as pdimport numpy as npdf=pd.DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two','one','two','one'], 'data1':np.random.randn(5),'data2':n原创 2017-09-03 11:24:17 · 549 阅读 · 0 评论 -
pandas中Groupby使用(二)-对分组进行迭代
#-*- coding:utf-8 -*-import pandas as pdimport numpy as npdf=pd.DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two','one','two','one'], 'data1':np.random.randn(5),'data2':n原创 2017-09-03 12:33:30 · 14631 阅读 · 0 评论 -
pandas中Groupby的使用(三)-根据dtype对列进行分组
#-*- coding:utf-8 -*-import pandas as pdimport numpy as npdf=pd.DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two','one','two','one'], 'data1':np.random.randn(5),'data2':n原创 2017-09-03 12:51:24 · 2965 阅读 · 0 评论 -
pandas中将list切分后存入DataFrame中
#-*- coding:utf-8 -*-import randomimport pandas as pdimport numpy as nplist=[1,2,3,4,5,6,7,8,9,0,11,0,13,14,15,16,17,18,19,20]#把list切分后存入矩阵中matrix=[]for j in range(0,len(list),5): matrix.ap原创 2017-09-04 17:02:49 · 6440 阅读 · 0 评论 -
pandas中Groupby通过字典或Series进行分组
#-*- coding:utf-8 -*-import pandas as pdimport numpy as nppeople=pd.DataFrame(np.random.randn(5,5),columns=['a','b','c','d','e'] ,index=['Joe','Steve','Wes','Jim','Travis'])peo原创 2017-09-05 11:06:52 · 4925 阅读 · 0 评论 -
python中Groupby使用(四)-通过函数进行分组
#-*- coding:utf-8 -*-import pandas as pdimport numpy as nppeople=pd.DataFrame(np.random.randn(5,5),columns=['a','b','c','d','e'] ,index=['Joe','Steve','Wes','Jim','Travis'])pri原创 2017-09-05 13:10:06 · 4159 阅读 · 0 评论 -
pandas中Groupby使用(五)-根据索引级别分组
#-*- coding:utf-8 -*-import pandas as pdimport numpy as npcolumns=pd.MultiIndex.from_arrays([['US','US','US','JP','JP'],[1,3,5,1,3]],names=['city','tenor'])hier_df=pd.DataFrame(np.random.randn(4,5原创 2017-09-05 13:36:16 · 5439 阅读 · 0 评论