pandas 学习记录及详解

1.排序和排名以及pandas----rank

1. 1.1排序

obj=pd.Series(np.arange(4.),index=['c','a','b','d'])
#按照index，默认升序
print(obj.sort_index())
#按照值排序，注意3.6之前是obj.order()
print(obj.sort_values())

frame=pd.DataFrame(np.arange(8).reshape((2,4)),index=['one','two'],columns=['d','c','a','b'])
#按行排序
frame.sort_index(axis=1)
#通过具体的行对数据进行排序
frame.sort_index(by='a')

1. 1.2 rank内置函数详解

def rank(self, axis=0, method='average', numeric_only=None,
	na_option='keep', ascending=True, pct=False)

axis=0 or ‘index’ ----对行生效
axis=1 or ‘columns’ --------对列生效 default=0

method=‘average’ 想同数据 优先级相加/个数
method=‘first’ 按值在原始数据中的出现顺序分配排名
method=‘min’ 相同的值按照，以最小的优先级为准
method=‘max’ 相同的值按照，以最大的优先级为准

ascending=‘flase’ 排序：降序 默认是升序

na_option : {‘keep’, ‘top’, ‘bottom’}
keep：将NA值保留在原来的位置
top ： 如果升序，将NA值排名第一
bottom ：如果降序，将NA值排名第一

numeric_only : boolean, 默认值 None 仅包含float，int和boolean数据。 仅对DataFrame或Panel对象有效

2.移除重复数据
针对DataFrame中出现的行数据重复问题，两种处理

• 1.判断改行是否是重复行 -------- duplicated

data=pd.DataFrame(’ ')
data.duplicated(),返回的是布尔类型

• 2.将重复行直接删掉

data.drop_uplicated(),会将重复的数据删掉

接下来我使用的数据样式：

3.滤除确实数据
最常用的：删除缺失数据的行–dropna()

dropna 参数讲解
def dropna(self, axis=0, how=‘any’, thresh=None, subset=None,
inplace=False):
how=‘any’ — 只要行或列中含有NaN，就会被删除
how=‘all’ — 只有整行或者整列都是NaN，就会被删除

4.处理缺失数据

• 4.1 isnull()

  判断数据中涉及的缺失数据,返回是一个布尔类型的数据，False–不是 True–是
  

• 4.2 fillna()

  填充缺失数据,可以点进去看具体的fillna 参数，这里面的代替者可以根据自己的需要去设置。
  
  def fillna(self, value=None, method=None, axis=None, inplace=False,
  limit=None, downcast=None, **kwargs):
  value-----------填充值
  inplace--------------默认是false 产生替换值后新的表 True----直接在原对象上修改
  limit---------可连续填充的最大数量
  method=‘ffill’-----------用前面的值来填充（如果不给指定的值的话）

5.层次化索引
官方定义：他可以使你以低维度形式处理高维度数据。
我的理解：使你对平铺直叙的数据进行分类管理。

#这里做了分层索引
df=pd.DataFrame([[1,2,3],[2,2,3],[3,4,3],[5,5,6]],index=[[1,1,1,2],['a','b','c','d']],columns=['one','two','three'])
print(df)
# 设置轴名称
df.index.names=['cui','mt']
#通过键，获取相关数据
print(df['two'])
print('--------分割线-----------')
#这个是原数据未做索引
df=pd.DataFrame([[1,2,3],[2,2,3],[3,4,3],[5,5,6]],index=['a','b','c','d'],columns=['one','two','three'])
print(df)
print('-------------------')
print(df['two'])

下面是打印的结果

根据打印的结果大家可明显看到，分层后的数据条理更加清晰，但是前提条件是你的数据需要做进一步的分层处理。

6.使用DATAFrame的列

• 6.1 将数据中的行索引改为列索引

#原数据
df=pd.DataFrame({'a':range(7),'b':range(7,0,-1),'c'['one','one','one','one','two','two','two'],'d':[0,1,2,3,4,5,6]})  

#单一索引
df1=df.set_index('a') 

#层次化索引
df2=df.set_index(['c','b']) 

在图片中我们都有看到原数据变成索引后会被移除，要想保留下来可以

df2=df.set_index(['c','b'],drop=False) 

如果需要将修改后的索引变回原数据

df2.reset_index()

7.Series 索引，选取和过滤

obj=pd.Series(np.arange(4.),index=['a','b','c','d'])
print(obj)
#以索引取值
print(obj['b'])
#以下标取值
print(obj[0])
#通过切片取值,这里要注意他的切片是包含结尾的
print(obj['a':'c'])
#通过切片修改值
obj['a':'c']=3
print(obj)

下面是运行后的结果