Python Pandas库DataFrame数据结构(1)

最新推荐文章于 2024-04-22 23:27:57 发布

youpccc

最新推荐文章于 2024-04-22 23:27:57 发布

阅读量259

点赞数 5

分类专栏：程序员文章标签： python pandas 数据结构

本文链接：https://blog.csdn.net/youpccc/article/details/137674260

版权

程序员专栏收录该内容

240 篇文章 0 订阅

订阅专栏

3 0.673725 0.459024 0.235585 0.157535
4 0.161433 0.851602 0.808815 0.040127
5 0.376283 0.116511 0.647214 0.908117
6 0.472629 0.760263 0.837993 0.436760
7 0.129060 0.365961 0.087162 0.342364
8 0.049868 0.676375 0.698879 0.708751
9 0.581853 0.188657 0.725624 0.229514
10 0.883784 0.604393 0.983455 0.959538
11 0.489604 0.477198 0.528603 0.930902
12 0.804986 0.634862 0.050975 0.593254
13 0.135978 0.442130 0.693620 0.890372
14 0.590731 0.208441 0.691652 0.409585
15 0.610946 0.513197 0.858367 0.630820
16 0.373706 0.403499 0.598159 0.691194
17 0.749585 0.288254 0.457640 0.038209
18 0.916358 0.533546 0.336834 0.595734
19 0.837226 0.744338 0.181082 0.727554
20 0.281210 0.858285 0.167435 0.454401
21 0.964384 0.874239 0.802685 0.553843
22 0.700291 0.796581 0.020454 0.054297
23 0.974867 0.351237 0.167358 0.412370
‘’’


### 数据的预处理



#### 拆分、合并和分组计算


  
 通过切片操作可以实现数据拆分，可用来计算特定范围内数据的分布情况，连接则是相反的操作，可以把多个 DataFrame 对象合并为一个DataFrame对象  
 在进行数据处理和分析时，经常需要按照某一列对原始数据进行分组，而该列数值相同的行中其他列进行求和、求平均等操作这可以通过 groupby()方法、sum()方法和mean()方法等来实现

import pandas as pd
import numpy as np

d = pd.DataFrame(np.random.randint(1, 3, (10, 4)), columns=list(“ABCD”))

randint(1,3,(10,4))生成10行4列矩阵，其中元素为整数，介于【0，3）之间.

print(‘d= \n’, d) # randint(1,3)生成一个介于【0，3）之间的随机整数
d1 = d[:4] # 获取前4行数据
print(‘d1= \n’, d1)
d2 = d[4:] # 获取第5行以后的数据
print(‘d2= \n’, d2)
dd = pd.concat([d1, d2]) # 数据行合并
print(‘dd= \n’, dd)
s1 = d.groupby(‘A’).mean() # 数据按A列分组求均值
print(‘s1= \n’, s1)
s2 = d.groupby(‘A’).apply(sum) # 数据按A列分组求和
print(‘s2= \n’, s2)
‘’’
d=
A B C D
0 1 1 2 2
1 1 1 1 1
2 1 1 1 1
3 1 2 1 2
4 2 1 1 2
5 1 1 1 2
6 1 2 2 1
7 2 2 1 2
8 2 2 2 1
9 1 2 2 2
d1=
A B C D
0 1 1 2 2
1 1 1 1 1
2 1 1 1 1
3 1 2 1 2
d2=
A B C D
4 2 1 1 2
5 1 1 1 2
6 1 2 2 1
7 2 2 1 2
8 2 2 2 1
9 1 2 2 2
dd=
A B C D
0 1 1 2 2
1 1 1 1 1
2 1 1 1 1
3 1 2 1 2
4 2 1 1 2
5 1 1 1 2
6 1 2 2 1
7 2 2 1 2
8 2 2 2 1
9 1 2 2 2
s1=
B C D
A
1 1.428571 1.428571 1.571429
2 1.666667 1.333333 1.666667
s2=
A B C D
A
1 7 10 10 11
2 6 5 4 5
‘’’


#### 数据的选取与清洗


对 DataFrame 进行选取，要从 3 个层次考虑：行列、区域、单元格


1. 选用中括号[ ]选取行列
2. 使用行和列的名称进行标签定位的 df.loc[ ]
3. 使用整型索引(绝对位置索引)的df.iloc[ ]


在数据预处理中，需要对缺失值等进行一些特殊处理

import pandas as pd
import numpy as np

A = pd.DataFrame(np.random.randint(1, 6, (5, 3)), # randint(1,6)随机生成[1，6)区间内的一个整数，生成5行，3列。
index=[‘a’, ‘b’, ‘c’, ‘d’, ‘e’], # 行标签abcde
columns=[‘one’, ‘two’, ‘three’]) # columns列
print(‘A=’, A)
A.loc[‘a’, ‘one’] = np.nan # 修改第1行第1列对应的数改为nan
print(‘A=’, A)
b = A.iloc[1:3, 0:2].values # 提取出第2、3行，第1、2列数据
print(‘b= \n’, b)
A[‘four’] = ‘bar’ # 增加第4列数据
print(‘A= \n’, A)
A2 = A.reindex([‘a’, ‘b’, ‘c’, ‘d’, ‘e’, ‘f’]) # 添了新的f行，reindex，它的作用是创建一个新对象，新对象的数据符合新的索引
print(‘A2= \n’, A2)
A3 = A2.dropna() # 删除有不确定值的行
print(‘A3= \n’, A3)
‘’’
A= one two three
a 2 5 3
b 1 5 3
c 2 3 5
d 3 1 4
e 4 1 4
A= one two three
a NaN 5 3
b 1.0 5 3
c 2.0 3 5
d 3.0 1 4
e 4.0 1 4
b=
[[1. 5.]
[2. 3.]]
A=
one two three four
a NaN 5 3 bar
b 1.0 5 3 bar
c 2.0 3 5 bar
d 3.0 1 4 bar
e 4.0 1 4 bar
A2=
one two three four
a NaN 5.0 3.0 bar
b 1.0 5.0 3.0 bar
c 2.0 3.0 5.0 bar
d 3.0 1.0 4.0 bar
e 4.0 1.0 4.0 bar
f NaN NaN NaN NaN
A3=
one two three four
b 1.0 5.0 3.0 bar
c 2.0 3.0 5.0 bar
d 3.0 1.0 4.0 bar
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。