Datawhale组队-pandas(上)基础(自学)

Pandas是Python的核心数据分析支持库,提供了快速灵活、明确的数据节后,旨在简单、直观地处理关系型、标记型数据。Pandas的目标是称为Python数据分析时间与实战的必备高级工具,其长远目标是称为最强大、最灵活,可以支持任何语言的开源数据。

Pandas适用于处理以下类型的数据:

  • 与SQL或Excel表类似的,含异构列的表格数据;
  • 有序和无序(非固定频率)的时间序列数据
  • 带行列标签的矩阵数据,包括同构或异构数据
  • 任意其它形式的观测、统计数据集,数据转入Pandas数据结构时不必事先标记。

Pandas的优势:

  • 处理浮点与非浮点数据里的缺失数据,表示为NaN;
  • 大小可变:插入或删除DataFrame等多维对象的列;
  • 自动、显式数据对齐:显式地将对象与一组标签对齐,也可以忽略标签,在Series、DataFrame计算时自动与数据对齐;
  • 强大、灵活的分组功能:拆分-应用-组合数据集,聚合、转换数据;
  • 把Python和Numpy数据结构里不规则、不同索引的数据轻松地转换为DataFrame对象;
  • 基于智能标签,对大型数据集进行切片、花式索引、子集分解等操作;
  • 直观地合并(merge)、连接(join)数据集;
  • 灵活地重塑(reshape)、透视(pivot)数据集;
  • 轴支持结构化标签:一个刻度支持多个标签;
  • 成熟的IO工具:读取文本文件(csv)、Excel文件、数据库等来源的数据,利用超快的HDF5格式保存、加载数据;
  • 时间序列:支持日期范围生成、频率转换、移动窗口统计、移动窗口线性回归、日期位移等时间序列功能。

 

一、文件读取与写入

1.读取与写入

常见的文件格式有csv、txt、xls、xlsx格式

#读取csv
df = pd.read_csv('data/table.csv')
#读取txt
df_txt = pd.read_table('data/table.txt') #可设置sep分隔符参数
#读取xls或xlsx
df_excel = pd.read_excel('data/table.xlsx')
#写入csv
df.to_csv('data/table.csv')
#写入xls或xlsx
df_excel.to_excel('data/table.xlsx')

二、基本数据结构

Pandas的两种数据类型:Series是带标签的一维数组,可存储整数、浮点数、字符串、Python对象等类型的数据。轴标签统称为索引,Data是由多种类型的列构成的二维标签数据结构,支持一维和多维数据输入,还可以有选择人地传递index和columns参数。

1.Series

对于一个Series,常用的属性为值(values),索引(index),名字(name),类型(dtype)

s = pd.Series(np.random.randn(5),index=['a','b','c','d','e'],name='这是一个Series',dtype='float64')
print(s.name)
print(s.values)
print(s.index)
print(s.dtype)

2.DataFrame

创建一个DataFrame

df = pd.DataFrame({'col1':list('abcde'),'col2':range(5,10),'col3':[1.3,2.5,3.6,4.6,5.8]},index=list('一二三四五'))

#从DataFrame取出一列为Series
print(df['col1'])
print(type(df))
print(type(df['col1']))

#修改行或列名
df.rename(index={'一':'one'},columns={'col1':'new_col1'})

#DataFrame的属性和方法
print(df.index)
print(df.columns)
print(df.values)
print(df.shape)
print(df.mean())

索引对齐特性:

df1 = pd.DataFrame({'A':[1,2,3]},index=[1,2,3])
df2 = pd.DataFrame({'A':[1,2,3]},index=[3,1,2])
df1-df2 #由于索引对齐,因此结果不是0

列的删除与添加(drop或pop、del和直接增加、assign)

df = pd.DataFrame({'col1':list('abcde'),'col2':range(5,10),'col3':[1.3,2.5,3.6,4.6,5.8]},index=list('一二三四五'))
#删除
#drop
df.drop(index='五',columns='col1')
#del
df['col1']=[1,2,3,4,5]
del df['col1']
#pop
df['col1']=[1,2,3,4,5]
df.pop('col1')

#直接增加列(以索引为准)
df1['B']=list('abc')
#用assign,不会对原DataFrame修改
df1.assign(C=pd.Series(list('def')))

三、常用基本函数

1、head和tail

head是默认展示df的前5行,可通过head(10)展示第十行

tail是默认展示df的后5行,可通过tail(10)展示第十行

2.nunique和unique

nunique显示有多少个唯一值

unique显示所有的唯一值

3.count和value_counts

count返回非缺失值元素个数

value_counts返回每个元素有多少个

4.describe和info

describe默认统计数值型数据的各个统计量,可以自行选择分位数

info函数返回有那些列,有多少非缺失值、每列的类型

5.idxmax和nlargest

idxmax函数返回最大值所在索引,在某些情况下特别适用,idxmin功能类似

nlargest函数返回前几个大的元素值,nsmallest功能类似

6.clip和replace

clip是对超过或者低于某些值的数进行截断

replace是对某些值进行替换

7.apply函数

df['Math'].apply(lambda x:str(x)+'!').head() #可以使用lambda表达式,也可以使用函数

df.apply(lambda x:x.apply(lambda x:str(x)+'!')).head() #这是一个稍显复杂的例子,有利于理解apply的功能

四、排序

1.索引排序

df.set_index('Math').head() #set_index函数可以设置索引
df.set_index('Math').sort_index().head() #可以设置ascending参数,默认为升序,True

2.值排序

#单值排序
df.sort_values(by='Class').head() 
df.sort_values(by=['Address','Height']).head()

练习:

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

樱缘之梦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值