dataframe性质

1)查看DataFrame数据及属性


df_obj = DataFrame() #创建DataFrame对象
df_obj.dtypes #查看各行的数据格式
df_obj['列名'].astype(int)#转换某列的数据类型
df_obj.head() #查看前几行的数据,默认前5行
df_obj.tail() #查看后几行的数据,默认后5行
df_obj.index #查看索引
df_obj.columns #查看列名
df_obj.values #查看数据值
df_obj.describe() #描述性统计
df_obj.T #转置
df_obj.sort_values(by=['',''])#同上

2)使用DataFrame选择数据:

df_obj.ix[1:3] #获取1-3行的数据,该操作叫切片操作,获取行数据
df_obj.ix[columns_index] #获取列的数据
df_obj.ix[1:3,[1,3]]#获取1列3列的1~3行数据
df_obj[columns].drop_duplicates() #剔除重复行数据

3)使用DataFrame重置数据:

df_obj.ix[1:3,[1,3]]=1#所选位置数据替换为1

4)使用DataFrame筛选数据(类似SQL中的WHERE):

alist = ['023-18996609823']
df_obj['用户号码'].isin(alist) #将要过滤的数据放入字典中,使用isin对数据进行筛选,返回行索引以及每行筛选的结果,若匹配则返回ture
df_obj[df_obj['用户号码'].isin(alist)] #获取匹配结果为ture的行

5)使用DataFrame模糊筛选数据(类似SQL中的LIKE):

df_obj[df_obj['套餐'].str.contains(r'.*?语音CDMA.*')] #使用正则表达式进行模糊匹配,*匹配0或无限次,?匹配0或1次
  •  

6)使用DataFrame进行数据转换(后期补充说明)

df_obj['支局_维护线'] = df_obj['支局_维护线'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正则表达式
  • 1
  • 1
  • 1

可以设置take_last=ture 保留最后一个,或保留开始一个.补充说明:注意take_last=ture已过时,请使用keep=’last’ 
7)使用pandas中读取数据:


 
  1. read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先输入csv文本地址,然后分割符选择等等

  2. df.to_excel('foo.xlsx',sheet_name='Sheet1');pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])#写入读取excel数据,pd.read_excel读取的数据是以DataFrame形式存储

  3. df.to_hdf('foo.h5','df');pd.read_hdf('foo.h5','df')#写入读取HDF5数据

  • 1
  • 2
  • 3
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

8)使用pandas聚合数据(类似SQL中的GROUP BY 或HAVING):


 
  1. data_obj['用户标识'].groupby(data_obj['支局_维护线'])

  2. data_obj.groupby('支局_维护线')['用户标识'] #上面的简单写法

  3. adsl_obj.groupby('支局_维护线')['用户标识'].agg([('ADSL','count')])#按支局进行汇总对用户标识进行计数,并将计数列的列名命名为ADSL

  • 1
  • 2
  • 3
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

9)使用pandas合并数据集(类似SQL中的JOIN):

merge(mxj_obj2, mxj_obj1 ,on='用户标识',how='inner')# mxj_obj1和mxj_obj2将用户标识当成重叠列的键合并两个数据集,inner表示取两个数据集的交集.
  • 1
  • 1
  • 1

10)清理数据


 
  1. df[df.isnull()]

  2. df[df.notnull()]

  3. df.dropna()#将所有含有nan项的row删除

  4. df.dropna(axis=1,thresh=3) #将在列的方向上三个为NaN的项删除

  5. df.dropna(how='ALL')#将全部项都是nan的row删除填充值

  6. df.fillna(0)

  7. df.fillna({1:0,2:0.5}) #对第一列nan值赋0,第二列赋值0.5

  8. df.fillna(method='ffill') #在列方向上以前一个值作为值赋给NaN

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

实例

1. 读取excel数据 
代码如下


 
  1. import pandas as pd# 读取高炉数据,注意文件名不能为中文

  2. data=pd.read_excel('gaolushuju_201501-03.xlsx', '201501', index_col=None, na_values=['NA'])

  3. print data

  • 1
  • 2
  • 3
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

测试结果如下


 
  1. 燃料比 顶温西南 顶温西北 顶温东南 顶温东北

  2. 0 531.46 185 176 176 174

  3. 1 510.35 184 173 184 188

  4. 2 533.49 180 165 182 177

  5. 3 511.51 190 172 179 188

  6. 4 531.02 180 167 173 180

  7. 5 511.24 174 164 178 176

  8. 6 532.62 173 170 168 179

  9. 7 583.00 182 175 176 173

  10. 8 530.70 158 149 159 156

  11. 9 530.32 168 156 169 171

  12. 10 528.62 164 150 171 169

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

2. 切片处理,选取行或列,修改数据 
代码如下:


 
  1. data_1row=data.ix[1]

  2. data_5row_2col=data.ix[0:5,[u'燃料比',u'顶温西南']

  3. print data_1row,data_5row_2col

  4. data_5row_2col.ix[0:1,0:2]=3

  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

测试结果如下:


 
  1. 燃料比 510.35

  2. 顶温西南 184.00

  3. 顶温西北 173.00

  4. 顶温东南 184.00

  5. 顶温东北 188.00

  6. Name: 1, dtype: float64

  7. 燃料比 顶温西南

  8. 0 531.46 185

  9. 1 510.35 184

  10. 2 533.49 180

  11. 3 511.51 190

  12. 4 531.02 180

  13. 5 511.24 174

  14. 燃料比 顶温西南

  15. 0 3.00 3

  16. 1 3.00 3

  17. 2 533.49 180

  18. 3 511.51 190

  19. 4 531.02 180

  20. 5 511.24 174

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20

格式说明,data_5row_2col.ix[0:1,0:2],data_5row_2col.ix[0:1,[0,2]],选取部分行和列需加”[]” 
3. 排序 
代码如下:


 
  1. print data_1row.sort_values()

  2. print data_5row_2col.sort_values(by=u'燃料比')

  • 1
  • 2
  • 1
  • 2
  • 1
  • 2

测试结果如下:


 
  1. 顶温西北 173.00

  2. 顶温西南 184.00

  3. 顶温东南 184.00

  4. 顶温东北 188.00

  5. 燃料比 510.35

  6. Name: 1, dtype: float64

  7. 燃料比 顶温西南

  8. 1 510.35 184

  9. 5 511.24 174

  10. 3 511.51 190

  11. 4 531.02 180

  12. 0 531.46 185

  13. 2 533.49 180

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

4. 删除重复的行 
代码如下:

print data_5row_2col[u'顶温西南'].drop_duplicates()#剔除重复行数据
  • 1
  • 1
  • 1

测试结果如下:


 
  1. 0 185

  2. 1 184

  3. 2 180

  4. 3 190

  5. 5 174

  6. Name: 顶温西南, dtype: int64

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

说明:从测试结果3中可以看出顶温西南index=2的数据与index=4的数据重复,测试结果4显示将index=4的顶温西南数据删除

展开阅读全文

没有更多推荐了,返回首页