用pandas玩转数据（1）

最新推荐文章于 2022-06-01 17:18:04 发布
最新推荐文章于 2022-06-01 17:18:04 发布
阅读量582 收藏 4
点赞数
分类专栏： numpy与pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45014721/article/details/107904773
版权

1.1pandas的frame和frame.loc的知识

①frame按照行列索引定位到某一行某一列

import pandas as pd

d1={'城市':['北京','上海','广州','深圳','沈阳'],
    '环比':[101.5,101.2,101.3,102.0,100.1],
    '同比':[120.7,127.3,119.4,140.9,101.4],
    '定基':[121.4,127.8,120.0,145.5,101.6]}
frame=pd.DataFrame(d1,index=['c1','c2','c3','c4','c5'])
'''
    城市  环比   同比    定基
c1  北京  101.5  120.7  121.4
c2  上海  101.2  127.3  127.8
c3  广州  101.3  119.4  120.0
c4  深圳  102.0  140.9  145.5
c5  沈阳  100.1  101.4  101.6
'''

print(frame['同比'][0:2])  #找到某一行某一列，即使索引是C1，c2仍然可以frame[0:2]
print(frame[0:2]['同比'])  #找到某一行某一列

print(frame['城市'])   #找到某一列
print(frame[['城市','环比']] )  #找到某一列(这里必须是两个[])

print(frame[0:2])  #找到某一行。可以用数字找到某一行，但不能用索引。
print(frame['c2'])  #这个输出会报错！！！c2是索引，frame[]不能通过索引查询指定行。

#找到某一列然后像字符串一样处理
print(  frame['name'].str[0:1]  )
print(  frame['name'].str[0:1]+'同学'  )
print(  frame['height'].round(1)  )#使用字符串的四舍五入
frame['环比']=frame['环比']+1

在这里插入图片描述

②frame

  • 当然，frame[ ]也可以通过条件来定位那些行，如：frame[ (frame['age']>17) ]和frame[frame['gender']==True]
'''输出某些属性'''
print(  frame['name'].str[0:1]  )
print(  frame['name'].str[0:1]+'同学'  )
print(  frame['height'].round(1)  )#使用字符串的四舍五入


'''按条件查询'''
frame[frame['age'] >17]
frame[ (frame['age']>17) & (frame['height']>1.80) ]
frame[ (frame['age']>17) & (frame['gender']==True)]
frame[ frame['age'].isin([20,16]) ]

③关于frame.loc[ ]
之前讲的都是frame，现在我们来看看frame.loc[]

  • 我们知道frame[‘c2’]是错误的表述，如果你实在是需要用索引查找，那就frame.loc[[‘c2’]]
  • 当然，frame.loc[]不仅仅可以通过索引来定位那些行，还可以通过条件来定位那些行，如：frame.loc[frame['gender']==True] 和frame.loc[frame['height']>1.80]
  • frame.loc最常见的用法就是精确定位，如frame.loc['c1','name']精确定位某一行某一列，frame.loc[frame['height']>1.80,'age']精确定位那些身高在180以上的那些人的年龄
#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data,index=['c1','c2','c3','c4','c5','c6','c7'])

print(frame.loc[['c1','c3']])
print(frame.loc[frame['gender']==True])
print(frame.loc[frame['height']>1.80])

在这里插入图片描述

frame.loc['c1','name']='赵春'
frame.loc[frame['height']>1.80,'age'] =frame.loc[frame['height']>1.80,'age'] +1

1.2行列修改

①修改列名、行名

frame.columns=['学号','姓名','性别','年龄','身高']
frame.rename(columns={'ID':'学号','name':'姓名','gender':'性别'})

②reindex调整行列顺序

import pandas as pd

d1={'城市':['北京','上海','广州','深圳','沈阳'],
    '环比':[101.5,101.2,101.3,102.0,100.1],
    '同比':[120.7,127.3,119.4,140.9,101.4],
    '定基':[121.4,127.8,120.0,145.5,101.6]}
d=pd.DataFrame(d1,index=['c1','c2','c3','c4','c5'])
'''
    城市  环比   同比    定基
c1  北京  101.5  120.7  121.4
c2  上海  101.2  127.3  127.8
c3  广州  101.3  119.4  120.0
c4  深圳  102.0  140.9  145.5
c5  沈阳  100.1  101.4  101.6
'''


d=d.reindex(index=['c5','c4','c3','c2','c1'])
'''
    城市   环比   同比   定基
c5  沈阳  100.1  101.4  101.6
c4  深圳  102.0  140.9  145.5
c3  广州  101.3  119.4  120.0
c2  上海  101.2  127.3  127.8
c1  北京  101.5  120.7  121.4
'''

d=d.reindex(columns=['城市','同比','环比','定基'])
'''
    城市   同比   环比   定基
c5  沈阳  101.4  100.1  101.6
c4  深圳  140.9  102.0  145.5
c3  广州  119.4  101.3  120.0
c2  上海  127.3  101.2  127.8
c1  北京  120.7  101.5  121.4
'''

③插入行列

'''新加一列'''
frame['newname']=frame['name'].str[0:1]+'同学'  #新添加了一列
frame['class']=['C1','C1','C3','C1','C2','C3','C4']
frame.insert(2,'class',['C1','C1','C3','C1','C2','C3','C4']) #在第2列插入一列数据



'''新加几行'''
frame=frame.append(  frame.loc[frame['gender']==True]  )


data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
data1={'ID':['000008'],
       'name':['方文武'],
       'gender':[False],
       'age':[21],
       "height":[1.71]
       }
newframe=pd.DataFrame(data1)
frame=frame.append(newframe)


'reindex也可以新加一行和一列数据，而且优点是可以批量填补一些值'
newc = frame.columns.insert(2,'新增')  #在第2列的位置添加一个"新增的列标题"
newd = frame.reindex(columns=newc,fill_value=200)  #在NaN处填充200
nl=frame.index.insert(7,'c0')
nd=frame.reindex(index=nl,columns=newc,fill_value=200) 
#值得注意的是把columns=newc改成columns=newd是错误的，因为newc是frame.columns，而newd是frame


'''删除行、删除列'''
frame=frame.drop('c1',axis=0) #值得注意的是在drop中axis=0是删除行，axis=1是删除列 ；axis=0可以省略
frame=frame.drop(['c1','c2'],axis=0)  #删除行；axis=0可以省略
frame=frame.drop('name',axis=1) #删除name列
frame=frame.drop(  index=(  frame.loc[(frame['gender']==True)].index  )   ) #删除性别为True的行；axis是默认为0的

1.3排序、分组、拼接

'''排序'''
frame=frame.sort_values(by=['height'])
frame=frame.sort_values(by=['height'],ascending=False)  #ascending表示升序，ascending=False自然就是降序
frame=frame.sort_values(by=['age','height'],ascending=[True,False]) #按照年龄升序身高降序
frame.sort_values(by=[3],axis=1)  #按照第三行升序




'''数据的分组和聚合'''
groups=frame.groupby(frame['gender'])  #按照性别分组
print(groups.count()) #分组后做统计分析

groups=frame[['ID','age']].groupby([frame['gender']])  #把ID和age按照性别分组-
print(groups.count().rename(columns={'ID':'IDcount','age':'ageCount'}))  #分组后改一下列标头

groups=frame['age'].groupby(frame['age'])
print(groups.count().sort_values(ascending=False)) #按照统计结果的多少（不是按年龄）降序排列

groups=frame['age'].groupby(frame['age'])
print(groups.count().sort_index(ascending=False)) #按照（年龄）降序排列

groups=frame[['ID']].groupby([frame['gender'],frame['age']]) #把ID按照性别、年龄分组
print(groups.count().sort_values(by=['gender','age'],ascending=[False,True])) #按“性别升序，年龄降序”排序




'''对数据进行连接'''
sum=pd.merge(students,scores,left_on='ID',right_on='SID')
#pd.merge(列表1，列表2，列表1的连接项，列表2的连接项)，这是依据列表1的连接项 和 列表2的连接项 将列表1和列表2连接起来

sum2=pd.merge(students,scores,left_on='ID',right_on='SID',how='left')
#加了how=left后就是以列表1为基准连接，列表2中有空值也会显示

sum3=pd.merge(students,scores,left_on='ID',right_on='SID',how='left')
print(sum3[  pd.isna(sum3['score'])==True   ]['name'])  #pd.isna(a)==True就是找到为空值的a

sum4=pd.merge(students,scores,left_on='ID',right_on='SID')
print(  sum4[['score']].groupby(sum4['name']).mean()  ) #将分数按照name分组，并求平均值

2。本节内容

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'herght':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }

①输出

frame=pd.DataFrame(data)
print(frame)

在这里插入图片描述
②想要自定义索引

frame=pd.DataFrame(data,index=[6,5,4,3,2,1,0])
print(frame)

在这里插入图片描述
③想要输出指定列

frame=pd.DataFrame(data)
print(frame.name)
可以这样输出，但我不允许你用，如果列名不是name而是一个“名字”，你会用print(frame.'名字')来查询吗？

在这里插入图片描述

frame=pd.DataFrame(data)
print(frame['name'])

在这里插入图片描述

frame=pd.DataFrame(data)
print(frame[['name','age']]) #注意，需要两个[]

在这里插入图片描述
④想要输出指定行

frame=pd.DataFrame(data)
print(frame[0:1])  #含头不含尾

在这里插入图片描述

frame=pd.DataFrame(data)
print(frame[2:4])

在这里插入图片描述

  • loc也可以输出指定行，想要使用frame.loc[0:1]的前提是数字0和数字1是索引，如果你自定义了一个索引frame=pd.DataFrame(d1,index=['c1','c2','c3','c4','c5'])那么c1、c2就变成索引，此时0和1就不是索引，故不能使用frame.loc[0:1]
  • 而且loc[0:1]是指输出索引为0和索引为1的这两行，含头也含尾
  • 所以只输出一行时，你写frame.loc[1]就可以，而不是frame.loc[1:2]
  • frame[0:1]是输出第0行（含头不含尾），第0行的索引不一定是0，可能是6，可能是c6
#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data,index=[6,5,4,3,2,1,0])
print(frame)
print('-----------------------------------')
print(frame[0:1])
print('-----------------------------------')
print(frame.loc[0])

在这里插入图片描述

frame=pd.DataFrame(data)
print(frame.loc[2:4])

在这里插入图片描述

frame=pd.DataFrame(data)
print(frame.loc[[1,3]])  #注意，是两个括号[]

在这里插入图片描述

frame=pd.DataFrame(data)
print(frame.loc[:,['name']])  #注意，是两个括号[]  ;第一个冒号：表示所有行

在这里插入图片描述

frame=pd.DataFrame(data)
print(frame.loc[:,['name','age']])  #注意，是两个括号[]  ;第一个冒号：表示所有行

在这里插入图片描述

frame=pd.DataFrame(data)
print(frame.loc[5:6,['name','age']])

在这里插入图片描述
⑤条件筛选输出

frame=pd.DataFrame(data)
print(frame[frame['age'] >17])

在这里插入图片描述

frame=pd.DataFrame(data)
print( frame[   (frame['age']>17)   &   (frame['height']>1.80)    ] )

在这里插入图片描述

frame=pd.DataFrame(data)
print( frame[   (frame['age']>17)   &   (frame['gender']==True)    ] )

在这里插入图片描述

frame=pd.DataFrame(data)
print( frame[   frame['age'].isin([20,16])   ] )

在这里插入图片描述

frame=pd.DataFrame(data)
print( frame['name'].str[0:1] )  
#frame['name']相当于字符串，所以你可以按字符串处理

在这里插入图片描述

frame=pd.DataFrame(data)
print( frame['name'].str[0:1]+'同学' )  
#frame['name']相当于字符串，所以你可以按字符串处理

在这里插入图片描述

frame=pd.DataFrame(data)
frame['newname']=frame['name'].str[0:1]+'同学'  #新添加了一列
print(frame)

在这里插入图片描述

frame=pd.DataFrame(data)
print( frame['height'].round(1) )  #使用字符串的四舍五入

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)

def xinbie(val):
    if val is True:
        return "男"
    else:
        return "女"

print( frame['gender'].apply(xinbie) )  #使用apply可以调用相关的函数

在这里插入图片描述

⑥改变行名和列名

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
print(frame)

在这里插入图片描述

frame=pd.DataFrame(data)
frame.columns=['学号','姓名','性别','年龄','身高']
print(frame)

在这里插入图片描述
更改指定列的名称

frame=pd.DataFrame(data)
print(frame.rename(columns={'ID':'学号','name':'姓名','gender':'性别'}))

在这里插入图片描述
⑦更改内部数据

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
frame['height']=frame['height']+0.01
print(frame)

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
frame[1:2]['name']='赵春'
print(frame)

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
frame.loc[1,'name']='赵春'
print(frame)

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)

data1={'ID':['000008'],
       'name':['方文武'],
       'gender':[False],
       'age':[21],
       "height":[1.71]
       }
newframe=pd.DataFrame(data1)

frame=frame.append(newframe)

print(frame)

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
frame['class']=['C1','C1','C3','C1','C2','C3','C4']
print(frame)

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
frame.insert(2,'class',['C1','C1','C3','C1','C2','C3','C4']) #在第2列插入一列数据
print(frame)

在这里插入图片描述
reindex也可以插入行和列，而且优点是可以批量填充数值

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data,index=['c1','c2','c3','c4','c5','c6','c7'])
print(frame)

newc = frame.columns.insert(2,'新增')  #在第2列的位置添加一个"新增的列标题"
newd = frame.reindex(columns=newc,fill_value=200)  #在NaN处填充200
print(newd)

nl=frame.index.insert(7,'c0')
#print(nl)  #Index(['c1', 'c2', 'c3', 'c4', 'c5', 'c6', 'c7', 'c0']
nd=frame.reindex(index=nl,columns=newc,fill_value=200)
print(nd)

在这里插入图片描述

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data,index=['c1','c2','c3','c4','c5','c6','c7'])
frame=frame.drop('c2',axis=0) #值得注意的是在drop中axis=0是删除行，axis=1是删除列 
print(frame)

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data,index=['c1','c2','c3','c4','c5','c6','c7'])
frame=frame.drop(['c2','c3'],axis=0)  #删除行；axis=0写与不写都可以，axis是默认为0的
print(frame)

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
frame=frame.drop('name',axis=1) #删除列
print(frame)

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
print(frame.loc[(frame['gender']==True)])
print(frame.loc[(frame['gender']==True)].index)
frame=frame.drop(  index=(  frame.loc[(frame['gender']==True)].index  )   ) #删除性别为True的行；axis是默认为0的
print(frame)

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
frame=frame.append(  frame.loc[frame['gender']==True]  )
print(frame)

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
frame.loc[frame['height']>1.80,'age'] =frame.loc[frame['height']>1.80,'age'] +1
print(frame)

在这里插入图片描述
⑧数据的排序

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
print(frame.sort_values(by=['height']))

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
print(frame.sort_values(by=['height'],ascending=False)) #ascending表示升序，ascending=False自然就是降序

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)
frame=frame.sort_values(by=['age','height'],ascending=[True,False]) #按照年龄升序身高降序
print(frame)

在这里插入图片描述

#coding:utf-8
import pandas as pd
#from pandas import DataFrame

data={'col1':[4,2,1,3,5],
      'col2':[6,4,2,6,1],
      'col3':[4,2,7,6,0],
      'col4':[4,3,1,5,2]
      }
frame=pd.DataFrame(data)
print(frame)
print('-------------------------')
print(frame.sort_values(by=[3],axis=1)) #按照第三行升序

在这里插入图片描述
⑨数据的分组和聚合
在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)


groups=frame.groupby(frame['gender'])  #按照性别分组
#groupby是DataFrame里面的一个方法,pd.DataFrame(data).groupby()来调用
print(groups.count()) #分组后做统计分析

print('---------如果你只想对ID按照性别分组--------------------------')

groups=frame[['ID']].groupby([frame['gender']])  #把ID按照性别分组
print(groups.count())

print('---------如果你想对ID和age按照性别分组--------------------------')

groups=frame[['ID','age']].groupby([frame['gender']])  #把ID和age按照性别分组-
print(groups.count())

print('-----------如果你还想改动一下列标头的名称-----------------------')

groups=frame[['ID','age']].groupby([frame['gender']])  #把ID和age按照性别分组-
print(groups.count().rename(columns={'ID':'IDcount','age':'ageCount'}))

print('-----------如果你还想对统计结果进行排序-----------------------')

groups=frame['age'].groupby(frame['age'])
print(groups.count().sort_values(ascending=False)) #按照统计结果的多少（不是按年龄）降序排列

print('-----------如果你还想对统计结果进行排序-----------------------')

groups=frame['age'].groupby(frame['age'])
print(groups.count().sort_index(ascending=False)) #按照（年龄）降序排列

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)

print('-------------把ID按照性别、年龄分组--------------')
groups=frame[['ID']].groupby([frame['gender'],frame['age']])
print(groups.count())

print('-------------把ID按照性别、年龄分组，然后按“性别升序，年龄降序”排序--------------')
groups=frame[['ID']].groupby([frame['gender'],frame['age']])
print(groups.count().sort_values(by=['gender','age'],ascending=[False,True]))

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)

print('-------------把身高按照年龄分组，并求平均值--------------')
groups=frame[['height']].groupby(frame['age'])
print(groups.mean())

print('-------------把身高按照年龄、性别分组，并求平均值--------------')
groups=frame[['height']].groupby([frame['gender'],frame['age']])
print(groups.mean())

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
frame=pd.DataFrame(data)

print('-------------把姓名按照身高分组，其中身高要保留一位小数--------------')
groups=frame['name'].groupby([  frame['height'].apply(round,args=[1])  ])
print(groups.count())

在这里插入图片描述
⑩对数据进行连接
在这里插入图片描述
在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data1={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
students=pd.DataFrame(data1)

data2={
       'SID':['000001','000001','000002','000003',
              '000003','000003','000004','000005',
              '000005','000006','000006'],
       'CID':['A01',"A02",'A01','A01','A02',
              'B01','A01','Ao3','B01','A02','B01'],
       'score':[56,78,90,74,86,89,67,80,77,76,90]
       }
scores=pd.DataFrame(data2)
 
sum=pd.merge(students,scores,left_on='ID',right_on='SID')
#pd.merge(列表1，列表2，列表1的连接项，列表2的连接项)，这是依据列表1的连接项 和 列表2的连接项 将列表1和列表2连接起来

print(sum)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data1={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
students=pd.DataFrame(data1)

data2={
       'SID':['000001','000001','000002','000003',
              '000003','000003','000004','000005',
              '000005','000006','000006'],
       'CID':['A01',"A02",'A01','A01','A02',
              'B01','A01','Ao3','B01','A02','B01'],
       'score':[56,78,90,74,86,89,67,80,77,76,90]
       }
scores=pd.DataFrame(data2)
 
sum1=pd.merge(students,scores,left_on='ID',right_on='SID')
sum2=pd.merge(students,scores,left_on='ID',right_on='SID',how='left')

print('----------没有how=left，当列表1或列表2有匹配不上的空值就会自动忽略--------------')
print(sum1) 
print('----------加了how=left后就是以列表1为基准连接，列表2中有空值也会显示--------------')
print(sum2)

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data1={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
students=pd.DataFrame(data1)

data2={
       'SID':['000001','000001','000002','000003',
              '000003','000003','000004','000005',
              '000005','000006','000006'],
       'CID':['A01',"A02",'A01','A01','A02',
              'B01','A01','Ao3','B01','A02','B01'],
       'score':[56,78,90,74,86,89,67,80,77,76,90]
       }
scores=pd.DataFrame(data2)
 
sum=pd.merge(students,scores,left_on='ID',right_on='SID',how='left')
print(sum[  pd.isna(sum['score'])==True   ]['name'])
#pd.isna(a)==True就是找到为空值的a

在这里插入图片描述

#coding:utf-8
import pandas as pd
from pandas import DataFrame

data1={'ID':['000001','000002','000003','000004','000005','000006','000007'],
      'name':['黎明','赵春怡','张福平','百利','牛玉德','姚华','李楠'],
      'gender':[True,False,True,False,True,False,True],
      'age':[16,20,18,18,17,18,16],
      'height':[1.88,1.78,1.81,1.86,1.74,1.75,1.76]
      }
students=pd.DataFrame(data1)

data2={
       'SID':['000001','000001','000002','000003',
              '000003','000003','000004','000005',
              '000005','000006','000006'],
       'CID':['A01',"A02",'A01','A01','A02',
              'B01','A01','Ao3','B01','A02','B01'],
       'score':[56,78,90,74,86,89,67,80,77,76,90]
       }
scores=pd.DataFrame(data2)
 
sum=pd.merge(students,scores,left_on='ID',right_on='SID')
print(  sum[['score']].groupby(sum['name']).mean()  ) #将分数按照name分组，并求平均值

在这里插入图片描述

2.pandas实例

电影评分数据集分析

（本节内容的数据见电脑F:/python数据/test6 或腾讯微云文件”python数据\test6“）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

import pandas as pd

#读取电影的评分人的数据
unames=['uid','age','gender','occupation','zip']
users=pd.read_table('E:\\快乐的程序猿\\test6\\u_user.txt',sep='|',header=None,names=unames) #sep='|'是分隔符，header=None就是没有行标题，unames是映射关系
print(users[:5])

#读取电影的评分数据
rnames=['uid','mid','rating','timestamp']
ratings=pd.read_table('E:\\快乐的程序猿\\test6\\u_data.txt',sep='\t',header=None,names=rnames) #分隔符是table键
print(ratings[:5])

#读取电影数据
mnames=['mid','title','date1','date2','url',
        'unkown','Action','Adventure','Animation','Children','Comedy','Crime','Documentary','Drama','Fantasty','File-Noir','Horror','Muscial','Mystery','Romance','Sci-Fi','Thriller','War','Weatern']
movies=pd.read_table('E:\\快乐的程序猿\\test6\\u_item.txt',sep='|',header=None,names=mnames)
print(movies[:5])

在这里插入图片描述
从现在开始，见到frame['rating'].groupby(frame['gender']).mean()这样的语句不是要你背它，而是你自己设想会有怎样的输出结果，例题还背个锤子呢，你知道输出结果是啥就行了

import pandas as pd

#读取电影的评分人的数据
unames=['uid','age','gender','occupation','zip']
users=pd.read_table('E:\\快乐的程序猿\\test6\\u_user.txt',sep='|',header=None,names=unames)

#读取电影的评分数据
rnames=['uid','mid','rating','timestamp']
ratings=pd.read_table('E:\\快乐的程序猿\\test6\\u_data.txt',sep='\t',header=None,names=rnames) #分隔符是table键

frame=pd.merge(ratings,users)
print(frame[:6])

print('-------看一下不同性别的观众评分差异-------------')
print( frame['rating'].groupby(frame['gender']).mean()  ) 

print('-------看一下不同年龄的观众评分差异-------------')
print( frame['rating'].groupby( frame['age'].apply(round,args=[-1]) ).mean() ) #四舍五入到十位

print('-------看一下不同年龄、不同性别的观众评分差异-------------')
print( frame['rating'].groupby( [frame['age'].apply(round,args=[-1]),frame['gender']] ).mean() ) #四舍五入到十位

在这里插入图片描述

import pandas as pd

#读取电影的评分人的数据
unames=['uid','age','gender','occupation','zip']
users=pd.read_table('E:\\快乐的程序猿\\test6\\u_user.txt',sep='|',header=None,names=unames) #sep='|'是分隔符，header=None就是没有行标题，unames是映射关系

#读取电影的评分数据
rnames=['uid','mid','rating','timestamp']
ratings=pd.read_table('E:\\快乐的程序猿\\test6\\u_data.txt',sep='\t',header=None,names=rnames) #分隔符是table键

#读取电影数据
mnames=['mid','title','date1','date2','url',
        'unkown','Action','Adventure','Animation','Children','Comedy','Crime','Documentary','Drama','Fantasty','File-Noir','Horror','Muscial','Mystery','Romance','Sci-Fi','Thriller','War','Weatern']
movies=pd.read_table('E:\\快乐的程序猿\\test6\\u_item.txt',sep='|',header=None,names=mnames)


frame=pd.merge(pd.merge(ratings,users),movies)  #合并三个数据表


print(frame[:5])

print('----------按性别、电影标题分组，计算每部电影的平均得分---------------')

print(  frame['rating'].groupby([frame['gender'],frame['title']]).mean().sort_values(ascending=False) )

在这里插入图片描述

import pandas as pd

#读取电影的评分人的数据
unames=['uid','age','gender','occupation','zip']
users=pd.read_table('E:\\快乐的程序猿\\test6\\u_user.txt',sep='|',header=None,names=unames) #sep='|'是分隔符，header=None就是没有行标题，unames是映射关系

#读取电影的评分数据
rnames=['uid','mid','rating','timestamp']
ratings=pd.read_table('E:\\快乐的程序猿\\test6\\u_data.txt',sep='\t',header=None,names=rnames) #分隔符是table键

#读取电影数据
mnames=['mid','title','date1','date2','url',
        'unkown','Action','Adventure','Animation','Children','Comedy','Crime','Documentary','Drama','Fantasty','File-Noir','Horror','Muscial','Mystery','Romance','Sci-Fi','Thriller','War','Weatern']
movies=pd.read_table('E:\\快乐的程序猿\\test6\\u_item.txt',sep='|',header=None,names=mnames)

frame=pd.merge(pd.merge(ratings,users),movies)

print('----------按性别、电影标题分组，计算每部电影的平均得分,同时要统计给这部电影打分的人数---------------')
print(  frame['rating'].groupby([frame['gender'],frame['title']]).agg(['mean','count']) )

print('----------按性别、电影标题分组，计算每部电影的平均得分,同时要统计给这部电影打分的人数,同时排序---------------')
print(  frame['rating'].groupby([frame['gender'],frame['title']]).agg(['mean','count'])
      .sort_values(by=['mean','count'],ascending=[False,False])
      )
print('----------按性别、电影标题分组，计算每部电影的平均得分,同时要统计给这部电影打分的人数,排序同时过滤掉评分人数小于100的电影---------------')
frame1=frame['rating'].groupby([frame['gender'],frame['title']]).agg(['mean','count'])
print(frame1[ frame1['count']>100 ].sort_values(by=['mean'],ascending=False)

在这里插入图片描述

import pandas as pd

#读取电影的评分人的数据
unames=['uid','age','gender','occupation','zip']
users=pd.read_table('E:\\快乐的程序猿\\test6\\u_user.txt',sep='|',header=None,names=unames) #sep='|'是分隔符，header=None就是没有行标题，unames是映射关系

#读取电影的评分数据
rnames=['uid','mid','rating','timestamp']
ratings=pd.read_table('E:\\快乐的程序猿\\test6\\u_data.txt',sep='\t',header=None,names=rnames) #分隔符是table键

#读取电影数据
mnames=['mid','title','date1','date2','url',
        'unkown','Action','Adventure','Animation','Children','Comedy','Crime','Documentary','Drama','Fantasty','File-Noir','Horror','Muscial','Mystery','Romance','Sci-Fi','Thriller','War','Weatern']
movies=pd.read_table('E:\\快乐的程序猿\\test6\\u_item.txt',sep='|',header=None,names=mnames)

frame=pd.merge(pd.merge(ratings,users),movies)

print(frame.pivot_table('rating',index='title',columns='gender',aggfunc='mean'))
'''pivot_table做一个透视图。因为有很多电影，所以我们把电影标题安排在行上；列展示性别；单元格里面显示评分的平均值'''

print('------------------按照女性评分倒序排列 -----------------')
print(frame.pivot_table('rating',index='title',columns='gender',aggfunc='mean').sort_values(by='F',ascending=False))

在这里插入图片描述

import pandas as pd

#读取电影的评分人的数据
unames=['uid','age','gender','occupation','zip']
users=pd.read_table('E:\\快乐的程序猿\\test6\\u_user.txt',sep='|',header=None,names=unames) #sep='|'是分隔符，header=None就是没有行标题，unames是映射关系

#读取电影的评分数据
rnames=['uid','mid','rating','timestamp']
ratings=pd.read_table('E:\\快乐的程序猿\\test6\\u_data.txt',sep='\t',header=None,names=rnames) #分隔符是table键

#读取电影数据
mnames=['mid','title','date1','date2','url',
        'unkown','Action','Adventure','Animation','Children','Comedy','Crime','Documentary','Drama','Fantasty','File-Noir','Horror','Muscial','Mystery','Romance','Sci-Fi','Thriller','War','Weatern']
movies=pd.read_table('E:\\快乐的程序猿\\test6\\u_item.txt',sep='|',header=None,names=mnames)

frame=pd.merge(pd.merge(ratings,users),movies)
newframe=frame['title'].groupby([frame['title']]).count()

print("------------统计每部电影评分数量---------------")
print(newframe)

print("------------统计电影评分数量大于100的电影标题---------------")
print(newframe.index[newframe>100])

在这里插入图片描述

import pandas as pd

#读取电影的评分人的数据
unames=['uid','age','gender','occupation','zip']
users=pd.read_table('E:\\快乐的程序猿\\test6\\u_user.txt',sep='|',header=None,names=unames) #sep='|'是分隔符，header=None就是没有行标题，unames是映射关系

#读取电影的评分数据
rnames=['uid','mid','rating','timestamp']
ratings=pd.read_table('E:\\快乐的程序猿\\test6\\u_data.txt',sep='\t',header=None,names=rnames) #分隔符是table键

#读取电影数据
mnames=['mid','title','date1','date2','url',
        'unkown','Action','Adventure','Animation','Children','Comedy','Crime','Documentary','Drama','Fantasty','File-Noir','Horror','Muscial','Mystery','Romance','Sci-Fi','Thriller','War','Weatern']
movies=pd.read_table('E:\\快乐的程序猿\\test6\\u_item.txt',sep='|',header=None,names=mnames)

frame=pd.merge(pd.merge(ratings,users),movies)
newframe=frame['title'].groupby([frame['title']]).count()

print("------------统计电影评分数量大于100的,并做透视图--------------")
print(frame.pivot_table('rating',index='title',columns='gender',aggfunc='mean')
      .loc[newframe.index[newframe>100]]
      )

print('------------统计电影评分数量大于100的,计算男女评分的差异-------------------------------')
frame=frame.pivot_table('rating',index='title',columns='gender',aggfunc='mean').loc[newframe.index[newframe>100]]
frame['differ']=frame['M']-frame['F']
print(frame)

在这里插入图片描述

3.pandas实例

在这里插入图片描述
在这里插入图片描述

股票数据
（本节内容的数据见电脑F:/python数据/test7 或腾讯微云文件”python数据\test7“）
在这里插入图片描述

import pandas as pd

frame=pd.read_csv('E:\\快乐的程序猿\\test7.csv',encoding='gbk')
frame=frame.set_index('日期') 
frame.index=pd.to_datetime(frame.index)

result=frame[['收盘价']].groupby(frame.index.year).mean()
print(result)

#柱状图适合绘制数据量小的，所以我们先对数据分组

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('E:\\快乐的程序猿\\test7.csv',encoding='gbk')
frame=frame.set_index('日期') 
frame.index=pd.to_datetime(frame.index)

results=frame.groupby(frame.index.year).mean()
print(results)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('E:\\快乐的程序猿\\test7.csv',encoding='gbk')
frame=frame.set_index('日期') 
frame.index=pd.to_datetime(frame.index)

results=frame.groupby(frame.index.year).agg(avg1=('收盘价','mean'),avg2=("换手率",'mean')) #统计收盘价和换手率两个列；avg1和avg2分别就是列标题，你可以自行设置
print(results)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:\\python数据\\test7.csv',encoding='gbk')
frame=frame.set_index('日期') 
frame.index=pd.to_datetime(frame.index)

results=frame.groupby(frame.index.year).agg(high=('最高价','mean'),low=('最低价','mean')) #生成年度的最高价和最低价
print(results)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('E:\\快乐的程序猿\\test7.csv',encoding='gbk')
frame=frame.set_index('日期') 
frame.index=pd.to_datetime(frame.index)

results=frame[['成交笔数']].groupby(frame.index.year).sum()
print(results)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:\\python数据\\test7.csv',encoding='gbk')
frame=frame.set_index('日期') 
frame.index=pd.to_datetime(frame.index)

results=frame.groupby(frame.index.year).agg(sum=('成交笔数','sum'),avg=('换手率','mean'))
print(results)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('E:\\快乐的程序猿\\test7.csv',encoding='gbk')
frame=frame.set_index('日期') 
frame.index=pd.to_datetime(frame.index)
results=frame[['收盘价']].groupby([frame.index.year,frame.index.month]).mean() #按照年月分组
print(results)
print('----------------------------------------------------')
print(results.index.codes)
print('----------------------------------------------------')
print(results.index.codes[0])
print('----------------------------------------------------')
print(results.index.codes[1])

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:\\python数据\\test7.csv',encoding='gbk')
frame=frame.set_index('日期') 
frame.index=pd.to_datetime(frame.index)

results=frame.groupby([frame.index.year,frame.index.month]).agg(val1=('收盘价','mean'),val2=('换手率','mean'),val3=('成交笔数','mean'))
print(results)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:\\python数据\\test7.csv',encoding='gbk')
frame=frame.set_index('日期') 
frame.index=pd.to_datetime(frame.index)

results=frame[['收盘价']].groupby([frame.index.year,frame.index.month]).mean()
print(results)

在这里插入图片描述

4.pandas实例

黑色星期五顾客消费分析
（本节内容的数据见电脑F:/python数据/BlackFriday 或腾讯微云文件”python数据\BlackFriday“）
在这里插入图片描述

import pandas as pd

frame=pd.read_csv('E:\\快乐的程序猿\\BlackFriday.csv')
results=frame[['Purchase']].groupby(frame['Age']).mean()
print(results)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:/python数据/BlackFriday.csv')
results=frame[['Purchase']].groupby([frame['Stay_In_Current_City_Years'],frame['Age']]).mean()
print(results)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('E:\\快乐的程序猿\\BlackFriday.csv')
print(frame.corr())

'''看一下相关性，corr()会把csv文件中列的内容是数字的那些列（数字列）两两计算它们的相关性（接近1的就是相关的）。由于在我们的文件中年龄那一列是0-17这样的区间，没有办法计算它与其他列的相关性；居住时长那一列有4+这样的表示，也没有办法计算它与其他列的相关性'''

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('E:\\快乐的程序猿\\BlackFriday.csv')
pd.set_option('display.max_columns',None) #显示全部
print(frame.corr())

在这里插入图片描述
我们发现他计算相关性时并没有把年龄那一列加进去，因为在原文件中年龄是一个区间，而不是数字，没办法做计算
在这里插入图片描述

import pandas as pd

frame=pd.read_csv('E:\\快乐的程序猿\\BlackFriday.csv')
pd.set_option('display.max_columns',None) 
print(frame['Age'][0]) #我们发现这个打印出来的是第0行，不是我们要的第0个数字
print(frame['Age'].apply(lambda x:x[0]))

在这里插入图片描述
在这里插入图片描述

import pandas as pd

frame=pd.read_csv('E:\\快乐的程序猿\\BlackFriday.csv')
frame.loc[frame['Stay_In_Current_City_Years']=='4+','Stay_In_Current_City_Years']=4 
#锁定住'Stay_In_Current_City_Years'这一列中frame['Stay_In_Current_City_Years']=='4+'的数，将其改为4
print(frame['Stay_In_Current_City_Years']) #我们可以看到这一列已经没有4+了

在这里插入图片描述

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

frame=pd.read_csv('E:\\快乐的程序猿\\BlackFriday.csv')
pd.set_option('display.max_columns',None)
frame['Age']=frame['Age'].apply(lambda x:x[0])
frame.loc[frame['Stay_In_Current_City_Years']=='4+','Stay_In_Current_City_Years']=4 
frame['Age']=frame['Age'].astype(int)
frame['Stay_In_Current_City_Years']=frame['Stay_In_Current_City_Years'].astype(int)

print(frame)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('E:\\快乐的程序猿\\BlackFriday.csv')
pd.set_option('display.max_columns',None)
frame['Age']=frame['Age'].apply(lambda x:x[0])
frame.loc[frame['Stay_In_Current_City_Years']=='4+','Stay_In_Current_City_Years']=4 
frame['Age']=frame['Age'].astype(int) #刚才的列是字符串类型，我们得转换为int
frame['Stay_In_Current_City_Years']=frame['Stay_In_Current_City_Years'].astype(int)
print(frame.corr())

在这里插入图片描述

5.pandas实例

查看我国各省的GDP
（本节内容的数据见电脑F:/python数据/test8.1与test8.2 或腾讯微云文件”python数据\test8.1与test8.2“）
在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:\\python数据\\test8.1.csv',encoding='gbk')
print(frame)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:\\python数据\\test8.1.csv',encoding='gbk')
print(frame[['地区','2019年']])

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:\\python数据\\test8.1.csv',encoding='gbk')
print(frame[['地区','2019年']].values.tolist())

#pyecharts绘图时需要一个二维列表的形式才能行，所以我们需要用values.tolist()

在这里插入图片描述

6.pandas实例

查看我国人口流动数据
（本节内容的数据见电脑F:/python数据/population 或腾讯微云文件”python数据\population“）
在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:/python数据/population.csv',encoding='gbk')
pd.set_option('display.max_rows',None) #数据全部展示，不要折叠
print(frame.sort_values(by=['count'],ascending=False))

在这里插入图片描述


import pandas as pd

frame=pd.read_csv('F:/python海量数据/population.csv',encoding='gbk')
print(frame[frame['count'] >100000][['from','to']])
print(frame[frame['count'] >100000][['from','to']].values)  #转成numpy类型
print(frame[frame['count'] >100000][['from','to']].values.tolist())  #numpy.tolist()

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:/python数据/population.csv',encoding='gbk')
results=frame[frame['count'] >100000][['from','to']].values.tolist() #统计流动人口大于100000的
print(frame['count'])
print(frame[frame['count'] >100000])
print(results)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:/python数据/population.csv',encoding='gbk')
results=frame[['count']].groupby(frame['to']).sum() #按照流入省份作为分组条件
print(results)
print('-----------------------------------------------------')
print(results.values.tolist())
print('-----------------------------------------------------')
results=results.reset_index() #由于前一步操作使得流入省份成了索引，我们要取消索引
results=results.values.tolist()
print(results)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:/python数据/population.csv',encoding='gbk')
frame=frame[frame['count']>50000]
links=frame[['from','to']].rename(columns={'from':'source','to':'target'}).to_dict(orient='recods')
print(links)

#我们打算用网络图的形式展示，我们用rename把“from”和“to”换成“from”和“target”，同时转换为字典类型

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:/python数据/population.csv',encoding='gbk')
frame=frame[frame['count']>50000]
links=frame[['from','to']].rename(columns={'from':'source','to':'target'}).to_dict(orient='recods')

results=frame[['count']].groupby(frame['to']).sum()
print(results)
results['name']=results.index #因为此时的索引就是to省份的名称
results['count']=results['count']/50000 #把数据处理小一些，便于做权值
results=results.rename(columns={'count':'symbolSize'})
print(results)
nodes=results.to_dict(orient='records')
print(nodes)

在这里插入图片描述
在这里插入图片描述

7.pandas实例

查看一百年前南方小镇的社交明星
（本节内容的数据见电脑F:/python数据/SouthernLadies 或腾讯微云文件”python数据\SouthernLadies“）
在这里插入图片描述
在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:/python数据/SouthernLadies.csv')
frame=pd.merge(frame,frame,left_on='Activity',right_on='Activity')
print(frame)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:/python数据/SouthernLadies.csv')
frame=pd.merge(frame,frame,left_on='Activity',right_on='Activity')
frame=frame[frame['Lady_x']<frame['Lady_y']] #这样就去除了自己和自己连接 以及 重复连接
print(frame)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:/python数据/SouthernLadies.csv')
frame=pd.merge(frame,frame,left_on='Activity',right_on='Activity')
frame=frame[frame['Lady_x']<frame['Lady_y']] 
frame=frame[['Activity']].groupby([frame['Lady_x'],frame['Lady_y']]).count() #按照女士1和女士2进行分组，并将它们共同参与的活动进行汇总
print(frame)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:/python数据/SouthernLadies.csv')
frame=pd.merge(frame,frame,left_on='Activity',right_on='Activity')
frame=frame[frame['Lady_x']<frame['Lady_y']] 
frame=frame[['Activity']].groupby([frame['Lady_x'],frame['Lady_y']]).count() 
edges=frame.index.tolist()
print(edges) #得到了边

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:/python数据/SouthernLadies.csv')
frame=frame.groupby(frame['Lady']).count()
nodes=frame.index.tolist()
print(nodes)

在这里插入图片描述

import pandas as pd

frame=pd.read_csv('F:/python数据/SouthernLadies.csv')
frame2=pd.merge(frame,frame,left_on='Activity',right_on='Activity')
frame2=frame2[frame2['Lady_x']<frame2['Lady_y']] 
frame2=frame2[['Activity']].groupby([frame2['Lady_x'],frame2['Lady_y']]).count() 
frame2=frame2.drop(index=(frame2.loc[(frame2['Activity']<4)].index)) #删除活动数小于4的“不太重要的”边
edges=frame2.index.tolist() 

weights=frame2['Activity'].tolist()

print(edges)
print(weights)

在这里插入图片描述

你的甲乙丙
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python数据分析之数据的查询【高级篇】
weixin_46005499的博客
08-28 1836
一、数据的分组和聚合运算 1.聚合函数（按照性别字段来分组） （1）第一种方法 # coding:utf-8 """ @Function:数据的分组和聚合 @Author ：王育红 @Date ：2020/8/24 """ import pandas as pd data = {'Id': ['000001', '000002', '000003', '000004', '000005', '000006', '000007'], 'name': ['袁晓莉', '孙菁', '王育
python中head用法_Python3pandas库DataFrame用法(基础整理)
weixin_34475212的博客
12-29 1380
创建一个DataFrame:一个DataFrame就是一张表格,Series可以理解成一维数据,DataFrame就是一个二维数据,DataFrame可以由多个Series组成(DataFrame可以理解成Series的一个集合)1)用字典dict，字典值value是列表listimport pandas as pdpopulation={'city':['Beijing','Shanghai',...
pandas处理读取文件时以0开头的缺失问题 symbol 000001 被省略
yuxiangsong的博客
06-01 1124
pandas 读取文件，以0开头的缺失问题
pandas之重命名列名
hooyying的博客
03-04 6557
假设存在如下数据集mtk： 0 1 2 0 1 3 16250 1 4 1 14501 2 3 3 27772 3 1 3 29743 4 4 3 22985 mkt.rename(columns={0:'first',1:'second',2:'third'},inplace=1) 生成如下： first second third 0 4 1 10011 1 4 2 21010 2 2 1
python数据分析之数据的查询【基础篇】
weixin_46005499的博客
08-24 4009
一、数据的选择 1.列的选择 （1）选择列也称为字段 # coding:utf-8 ''' @Function: 2.2数据的选择 @Author ：王育红 @Time : 2020/8/23 ''' import pandas as pd from pandas import DataFrame data = {'Id': ['000001', '000002', '000003', '000004', '000005', '000006', '000007'], 'name':
pandas玩转excel码源.zip
04-22
本文将深入探讨如何使用Pandas玩转Excel，包括读取、写入、操作和分析Excel数据。 首先，要使用Pandas处理Excel文件，你需要确保已经安装了`pandas`和`openpyxl`或`xlrd/xlwt`库。`openpyxl`用于读写较新的.xlsx...
用实战玩转Pandas数据分析.pdf
11-25
"用实战玩转Pandas数据分析" Pandas 是 Python 中的一个强大的数据分析库，它提供了高效、灵活的数据处理和分析能力，在数据科学和机器学习领域中广泛应用。下面是基于本书的知识点总结： Pandas 的重要性 Pandas...
Pandas玩转Excel-Python数据分析轻松学示例代码.zip
01-08
Pandas玩转Excel-Python数据分析轻松学示例代码.zip Pandas玩转Excel-Python数据分析轻松学示例代码.zip Pandas玩转Excel-Python数据分析轻松学示例代码.zip Pandas玩转Excel-Python数据分析轻松学示例代码.zip ...
Pandas玩转Excel-Python数据分析轻松学
最新发布
05-05
1 - 创建文件 2 - 读取文件 3 - 行、列、单元格 4&5 - 数据区域的读取，填充整数、文字,填充日期序列 6 - 函数填充 7 - 排序，多重排序 8 - 数据筛选、过滤 9 - 柱状图 10 - 绘制分组柱图，深度优化图表 11 - 绘制...
用实战玩转Pandas数据分析_数据开发_YU_
10-02
本教程“用实战玩转Pandas数据分析”旨在帮助数据开发者深入理解并熟练运用Pandas库，提升数据处理效率。以下是关于Pandas的一些关键知识点和实践技巧。 1. **Pandas基础**： - `DataFrame`：Pandas的核心数据结构...
Pandas模块读取csv文件出错解决办法
weixin_44532220的博客
06-02 3047
Pandas模块读取csv文件报错？？？ 嗯，用python爬取拉勾网数据并对数据进行清洗的时候遇到了一个小麻烦。啥也不说先上图叭！ 代码片. # -*- coding:utf-8 -*- import pandas as pd import numpy as np df=pd.read_csv('F:\\py\\py\\DataAnalyst.csv') print(df.head()) 嘤...
《用pandas玩转数据（1）》的摘要
weixin_45014721的博客
11-03 557
。
Python数据的显示
JavaNewbie__
06-10 961
初始数据集 in： import pandas as pd data = {'ID': ['000001', '000002', '000003', '000004', '000005', '000006', '000007'], 'name': ['黎明', '赵怡春', '张富平', '白丽', '牛玉德', '姚华', '李南'], 'gender': [True, False, True, False, True, False, True], 'age
Python中数据的分组和聚合运算
zwy_0309的博客
08-26 1640
在数据分析中，我们常用到三种重要的过程： 1、分组 2、聚合 3、显示 本例接续前几课的笔记，仍以为这组数据为例： from pandas import DataFrame data={‘ID’:[‘01’,‘02’,‘03’,‘04’,‘05’,‘06’,‘07’], ‘name’:[‘张三’,‘李四’,‘王五’,‘赵六’,‘田七’,‘陈八’,‘刘九’], ‘gender’:[True,False,True,False,True,False,True], ‘age’:[20,18,19,18,13,17,
dataframe 查找的isin()用法
LY的博客
09-07 1万+
import pandas as pd df = pd.read_excel('分类标准-新.xlsx') #list0=[7662,7667,7672,7677,7682,7688,7693,7698,7704,7662,7709,7714,7719,7725,7730,7735,7741,7709,7746,7751,7756,7762,7767,7772,7778,7746,7783,7783] list0=[7664,7669,7674,7679,7684,7690,7695,7700,770.
数据分析
Deng_Allen的博客
03-01 687
数据查询分析 1.1数据的建立 # coding:utf-8 # 编码申请 import pandas as pd # 导入pandas工具包，pd可以理解为给工具包起的别名 from pandas import DataFrame # 表示pandas中要导入的类 data = {'ID':['000001','000002','000003','000004','000005','000006','
Pandas/networkx图分析简单入门
weixin_34306676的博客
08-12 971
对于图论而言，大家或多或少有些了解，数学专业或计算机相关专业的读者可能对其更加清楚。图论中的图像是由若干给定的点及连接两点的线所构成的图形，这样的图像通常用来描述某些事物之间的某种特定关系，用点代表事物，用两点之间的连接线表示二者具有的某种关系，在互联网与通信行业中应用广泛。图论分析（Graph analysis）并不是数据科学领域中的新分...
Python+networkx 网络可视化方法
zwy_0309的博客
10-23 3145
一、 背景 今天准备学习网络图networkx的基本操作。选择的用例为一百年以前美国一些社会科学家从报纸上搜集的“知名女士参加社会活动的记录”，表结构简化如下： 通过网络图能否找出社交中的明星呢？这里说的明星是指：参加社交活动较多且认识其他知名女士较多的Lady。 二、 思路 按照以上定义，我们首先探索数据，先找出参加活动较多的女士，结果如下，看起来W01、W03参加活动最多，她们是不是就是我们要找的“明星”呢？ 我们还需要找一下，这些人中，谁认识的人较多。这个目标怎么实现呢？老师给我们一个思路：假设参
pd.DataFrame()函数解析
热门推荐
devil_son1234的博客
04-15 3万+
文章目录 DataFrame是Python中Pandas库中的一种数据结构，它类似excel，是一种二维表 0 简介 DataFrame的单元格可以存放数值、字符串等，这和excel表很像，同时DataFrame可以设置列名columns与行名index。 1 创建DataFrame pandas常与numpy一起配合使用，所以通常会一起引用，也就是： import pandas as...
python数据分析-pandas玩转excel
07-20
在使用Pandas进行Excel数据分析时，我们首先需要使用`pandas.read_excel()`函数读取Excel文件，并将其存储为一个Pandas的DataFrame对象。这样可以轻松地使用Pandas的各种数据处理和分析功能。 Pandas提供了一系列的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

你的甲乙丙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值