python每日学习13：pandas库的用法（2）

夜清寒风

于 2024-07-25 16:46:42 发布

阅读量424

点赞数 17

文章标签： python 学习 pandas pycharm

本文链接：https://blog.csdn.net/mohanyelong/article/details/140694254

版权

                    
                        
                    
                    python每日学习13：pandas库的用法（2） 
 建立索引:所有的数据框默认都已经使用从 0 开始的自然数索引，因此这里的"建立”索引指的是自定义索引 import pandas as pd
import numpy as np
df = pd.DataFrame( {'varl' : 1.0, ' var2' :[1,2,3,4], 'var3' : ['test', 'python','test','hello'] , 'var4' : 'cons'} , index =[0,1,2,3])

# 读入数据时建立索引
# 使用现有的列
df = pd.read_csv ("filename",index_col="column”)

# 使用复合列
df = pd.read_csv ("filename", index_col=[0,1..])
 
   指定某列为索引列 # df.set_index(keys , list,drop = True , append = False , inplace = False  )
# keys :被指定为索引的列名，复合索引用
# list:格式提供
# drop = True :建立索引后是否删除该列
# append = False :是否在原索引基础上添加索引，默认是直接替换原索引
# inplace = False :是否直接修改原数据框
a_dict={'aa':3000,'bb':5000,'cc':6000}
b_dict={'aa':120,'bb':350,'cc':670}
df=pd.DataFrame([a_dict,b_dict])
df

# df.set_index(keys=['aa','bb'],drop=False)
df.set_index(keys='aa',append=True,drop=False)
 
 将索引还原变量列 # df.reset_index(drop = False ,inplace = False )
# drop = False :是否将原索引直接删除
# inplace = False :是否直接修改原数据框
df.set_index(['aa','bb','cc'],drop=True,inplace=True)
df

# 将索引全部还原为变量
df.reset_index ()

# 是否删除 index 列
df.reset_index (drop=True)
 
 引用和修改索引:注意：索引仍然是有存储格式的，注意区分数值型和字符型的引用方式引用索引(df.index) # 修改索引
# 修改索引名
# 本质上和变量列名的修改方式相同
df = pd.DataFrame({'name':['zs','ls','ww'],'level':['vip1','vip2','pm']})
df.index.name='sno'#增加索引名称
df2 = pd.read_excel('stu_data.xlsx')
df3 = df2.set_index(keys = '学号')#选择一列作为索引
df5 = df2.set_index(keys = ['学号','性别'])# '学号' 和 '性别' 两列同时设置为索引

# 修改索引值
# 这里的修改本质上是全部替换
df.index = ['a', 'b', 'c']
df
 
 
 更新索引 
   reindex 则可以使用数据框中不存在的数值建立索引，并据此扩充新索引值对应的索引行列，同时进行缺失值填充操作 
 df.reindex(labels ,copy = True ,method ,pad / ffill,backfill / bfill,nearest,fill_value = np.NaN,limit = None) 
    labels :类数组结构的数值，将按此数值重建索引，非必需
copy = True :建立新对象而不是直接更改原 df/series 缺失数据的处理方式
method :针对已经排序过的索引，确定数据单元格无数据时的填充方法，非必需
pad / ffill:用前面的有效数值填充
backfill / bfill:用后面的有效数值填充
nearest:使用最接近的数值逬行填充
fill_value = np.NaN :将缺失值用什么数值替代
limit = None :向前/向后填充时的最大步长
 import pandas as pd
df=pd.DataFrame({'name':['11','22','33'],'level':['v1','v2','v3']})

df.reindex([0,1,3])
df.reindex([0,1,3],method='ffill')
df.reindex([0,1,3],fill_value='test')
 
 
 Series的索引和切片 
   索引 data=pd.Series([3,4,2,67,5],index=list('abcde'))
data['a']
data[2]
data[-1]
 
 切片 data['a':'d']
data[2:4]
data[-3:-1]
data[data>3]
 
 loc函数 # loc函数：通过行索引 "Index" 中的具体值来取行数据及根据普通索引获取。（如取"Index"为"A"的行）
# iloc函数：通过行号来取行数据，及根据位置索引获取。
# loc与iloc的使用
data=pd.Series([5,3,2,5,9],index=[1,2,3,4,5])
data.loc[1]
data.iloc[0]
 
 
 DataFrame的索引和切片 
   选择列 # 当想要获取 df 中某列数据时，只需要在 df 后面的方括号中指明要选择的列即可。
# 如果是一列，则只需要传入一个列名;如果是同时选择多列，则传入多个列名即可（注意：多个列名 用一个 list 存放）
import pandas as pd
import numpy as np
df=pd.DataFrame({'name':['11','22','33'],'level':['v1','v2','v3'],'prices':[123,456,789]})
df['name']#获取一列
df[['name','level']]#获取多列
df.iloc[[0,2]]#获取第几行
 
 按行列索引选择 # DataFrame对象按照行列检索获取，可以使用loc和iloc函数，方括号中逗号之前的部分表示要获取的行的索#引，如果输入一个冒号，或不输入任何数值表示获取所有的行或列，逗号之后方括号表示要获取的列的索引。
# loc与iloc获取
data=pd.DataFrame(np.arange(12).reshape(3,4),index=list('abc'),columns=list('ABCD'))
#获取行为'b'的行
data.loc['b']
#使用iloc获取，行为'b'的行，行号为1
data.iloc[1]

# 获取'A'列所有行
data.loc[:,'A']
data.iloc[:,0]

# 获取部分行部分列
data.loc[['a','b','c'],['A','B']]
data.iloc[[0,1,2],[0,1]]

# 获取满足条件的行
df[df['price']>10]
df[(df[“支出”]>10) & (df[“性别”]=='女')]
 
 
 isin()选择 
   df.isin(values) 返回结果为相应的位置是否匹配给出的 values values 为序列：对应每个具体值 values 为字典：对应各个变量名称 values 为数据框：同时对应数值和变量名称 df.price.isin([123,789,89])
df[df.price.isin([123,789,89])]
df[df.price.isin(['v1','v2'])]
df[df.level.isin(['v1','v2'])]
 
 
 排序 
   用索引排序 
    df.sort_index（level ,ascending = True , inplace = False,na_position = 'last‘ ,first/last）
level :（多重索引时）指定用于排序的级别顺序号/名称18
 ascending = True :是否为升序排列，多列时以表形式提供
 inplace = False :
 na_position = 'last‘ :缺失值的排列顺序，
 first/last
 df=pd.DataFrame({'name':[11,22,3],'level':['v1','v2','v3'],'prices':[123,456,789]})
df.set_index(['prices','name'], inplace = True )
df.sort_index()# 通过索引进行排序 
df.sort_index(ascending=[False])
df.sort_index(level='name')#设置哪个索引进行排序
df.sort_index(level=['name','prices'])
 
 使用变量值排序 
    df.sort_values（by,ascending = True,inplace = False ,na_position = 'last‘, first/last）
by :指定用于排序的变量名，多列时以列表形式提供
 ascending = True :是否为升序排列
 inplace = False :
 na_position = 'last‘ :缺失值的排列顺序，
 first/last
 df.sort_values(by='prices')
 
 
 计算新变量 
   新变量为常数 
 
# df['vamame'] = value
df.newvar=1#注意该命令不会报错!但并没有添加新变量
df['high']=1#增加一列
 
   基于原变量做简单四则运算 # df['var'] = df['oldvar'] *100
# df['var'] = df.oldvar *
import math
df['high']=math.sqrt(16)
df['prices']=np.sqrt(df.high)
 
 基于一个原变量做函数运算 
    df.apply（,func,axis = 0 ,0 ’ index’,1’ columns '）
func : 希望对行/列执行的函数表达式
 axis = 0 :针对行还是列逬行计算
 0 ’ index’:针对每列进行计算
 1’ columns ':针对每行逬行计算
 # 简化的用法:df [' varname ' ] = df. oldvar. apply
df['v2']=df.high.apply(math.sqrt)
df['v3']=df.high.apply(np.sqrt)
 
 不修改原df,而是生成新的df # df.assign(varname = expression)
df1 = df.assign(v4=df['high'].apply(lambda x: 16))
 
 在指定位置插入新变量列 
    df.insert(,loc,column ,value,allow_duplicates = False,)
loc :插入位置的索引值，0 <= loc <= len (columns)
 column :插入的新列名称
 value : Series 或者类数组结构的变量值
 allow_duplicates = False :是否允许新列重名
 #该方法会直接修改原 df
df1.insert(1,'d1',100)# 指定位置增加新列
df1.insert(1,'d2',df.v2.apply(lambda x: 16))
 
 

                