python查看数据的行和列_Python | 快速入门Pandas模块（二）数据的查看、统计、列的基本处理和常用数据类型操作...

最新推荐文章于 2024-08-13 04:20:26 发布

我是索吹

最新推荐文章于 2024-08-13 04:20:26 发布

阅读量6.3k

点赞数 5

文章标签： python查看数据的行和列

本文链接：https://blog.csdn.net/weixin_30387211/article/details/112012974

版权

在上一篇文章里，我们了解完基础的数据创建、读取和存储，这里以我们上一篇的案例数据为例，迅速熟悉查看N行，数据格式概览以及基础统计数据。

数据的查看和统计

1、查看数据，掐头看尾

很多时候我们想要对数据内容做一个查看，用df.head()函数直接可以查看默认的前5行，与之对应，df.tail()就可以查看数据尾部的5行数据，这两个参数内可以传入一个数值来控制查看的行数，例如df.head(10)表示查看前10行数据。df.head()

df.tail()

2、格式查看

df.info()帮助我们一步摸清各列数据的类型，以及缺失情况：

格式查看

从上面直接可以知道数据集的行列数，数据集的大小，每一列的数据类型，以及有多少条非空数据。

3、统计信息概览

快速计算数值型数据的关键统计指标，像平均数、中位数、标准差等等。

数据统计

其中count是统计每一列的有多少个非空数值，mean、std、min、max对应的分别是该列的均值、标准差、最小值和最大值，25%、50%、75%对应的则是分位数。

还有其他的函数如下例子：# 查看数据的行列数

print('数据集的行列数：',df.shape)

# 查看数据集每个变量的数据类型

print('各变量的数据类型：',df.dtypes)

数据预览函数

列的基本处理方式

这里，我们采用SQL四大法宝的逻辑来简单梳理针对列的基本处理方式——增、删、查、改。

1、增：

增加一列，用df['新列名'] = 新列值的形式，在原数据基础上赋值即可：

新增列

2、删：

我们用drop函数制定删除对应的列，axis = 1表示针对列的操作，inplace为True，则直接在源数据上进行修改，否则源数据会保持原样。

删减列

3、查：

想要查看某一列怎么办？df['列名']即可：

查看某一列

选取多列呢？需要用列表来传递：df[['第一列','第二列','第三列'..]]

多列查看

4、改：

复杂的针对特定条件和行列的筛选、修改，放在后面结合案例细讲，这里只讲一下最简单的更改：df['旧列名'] = 某个值或者某列值，就完成了对原列数值的修改。

函数表：

数据的增删改查

案例：# 数据读入

df = pd.read_excel(r'C:UsersAdministratorDesktopdata_test.xlsx')

# 缺失观测的检测

print('数据集中是否存在缺失值：',any(df.isnull()))

# 删除法之记录删除

df.dropna()

# 删除法之变量删除

df.drop('age', axis = 1)

# 替换法之前向替换

df.fillna(method = 'ffill')

# 替换法之后向替换

df.fillna(method = 'bfill')

# 替换法之常数替换

df.fillna(value = 0)

# 替换法之统计值替换

df.fillna(value = {'gender':df.gender.mode()[0], 'age':df.age.mean(),

'income':df.income.median()})

常用数据类型及操作

1、字符串

字符串类型是最常用的格式之一了，Pandas中字符串的操作和原生字符串操作几乎一毛一样，唯一不同的是需要在操作前加上".str"。

在案例数据中，我们发现来源明细那一列，可能是系统导出的历史遗留问题，每一个字符串前面都有一个“-”符号，又丑又无用，所以把他给拿掉：

字符串操作

一般来说清洗之后的列是要替换掉原来列的：

字符串处理

2、数值型

数值型数据，常见的操作是计算，分为与单个值的运算，长度相等列的运算。

以案例数据为例，源数据访客数我们是知道的，现在想把所有渠道的访客都加上10000，怎么操作呢？

字符型操作

只需要选中访客数所在列，然后加上10000即可，pandas自动将10000和每一行数值相加，针对单个值的其他运算(减乘除)也是如此。

但如果我们要算销售额呢？(销售额 = 访客数 X 转化率 X 客单价)，对应操作语句：df['销售额'] = df['访客数'] * df['转化率'] * df['客单价']。但为什么疯狂报错？

导致报错的原因，是数值型数据和非数值型数据相互计算导致的。PANDAS把带“%”符号的转化率识别成字符串类型，我们需要先拿掉百分号，再将这一列转化为浮点型数据：

字符串转化

要注意的是，这样操作，把9.98%变成了9.98，所以我们还需要让支付转化率除以100，来还原百分数的真实数值：

单位转化

然后，再用三个指标相乘计算销售额：

销售额

3、时间类型

PANDAS中时间序列相关的水非常深，这里只对日常中最基础的时间格式进行讲解。以案例数据为例，我们这些渠道数据，是在2019年8月2日提取的，后面可能涉及到其他日期的渠道数据，所以需要加一列时间予以区分，在EXCEL中常用的时间格式是'2019-8-3'或者'2019/8/3'，我们用PANDAS来实现一下：

日期格式

在实际业务中，一些时候PANDAS会把文件中日期格式的字段读取为字符串格式，这里我们先把字符串'2019-8-3'赋值给新增的日期列，然后用to_datetime()函数将字符串类型转换成时间格式：

字符串转为时间格式

转换成时间格式(这里是datetime64)之后，我们可以用处理时间的思路高效处理这些数据，比如，我现在想知道提取数据这一天离年末还有多少天('2019-12-31')，直接做减法(该函数接受时间格式的字符串序列，也接受单个字符串)：

日期的处理

类型转换函数如下：

类型转换与元素及运算

案例：# 数据读入

df = pd.read_excel(r'C:UsersAdministratorDesktopdata_test.xlsx')

# 将birthday变量转换为日期型

df.birthday = pd.to_datetime(df.birthday, format ='%Y/%m/%d')

# 将手机号转换为字符串