【Python】Pandas 数据分析 函数合集

已于 2023-12-03 20:44:25 修改
阅读量919 收藏 17
点赞数 18
文章标签： pandas python numpy
于 2023-12-02 23:01:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42594598/article/details/134756973
版权

这里写目录标题

一、生成测试数据

import pandas as pd
from faker import Faker
import random
import numpy as np

fake = Faker("zh_CN") # 初始化，可生成中文数据

#设置字段
#index = []
for i in range(1,12):
    exec('x'+str(i)+'=[]')

#设置样本
prod_cd = ['W00028','W00021','W00022']
prod_nm = ['微信支付','银联扫码支付','转账']
channel = ['APP','微信','短信']
year = ['2020','2021','2022']

#循环生成数据10行，具体多少行可以根据需求修改
for i in range(10):
    date = random.choice(year)+fake.date()[4:]
    x1.append('1'+str(fake.random_number(digits=8))) # 随机数字，参数digits设置生成的数字位数
    x2.append(fake.name()) #姓名
    x3.append(fake.ssn()) # 身份证
    x4.append(random.choice('男女')) 
    x5.append(random.randint(18,25))
    x6.append(fake.job())
    x7.append(random.randint(0,1000000))
    x8.append(random.choice(prod_cd))
    x9.append(random.choice(prod_nm))
    x10.append(random.choice(channel))
    x11.append(date)

#创建数据表
datas = pd.DataFrame({
    'user_id':x1,
    'name':x2,
    'ID_card':x3,
    'gender':x4,
    'age':x5,
    'job':x6,
    'salary':x7,
    'product_id':x8,
    'product':x9,
    'channel':x10,
    'prt_dt':x11
    })
    
datas

运行效果：
在这里插入图片描述

二、删除指定行、列：drop()

语法格式

DataFrame.drop(
        self,
        labels=None,
        axis: Axis = 0,
        index=None,
        columns=None,
        level: Level | None = None,
        inplace: bool = False,
        errors: str = "raise",
    )

# labels：要删除的行列的名字，接收列表参数，列表内有多个参数时表示删除多行或者多列
# axis：要删除的轴，与labels参数配合使用。默认为0，指删除行；axis=1，删除列
# index：直接指定要删除的行
# columns：直接指定要删除的列
# inplace：是否直接在原数据上进行删除操作，默认为False（删除操作不改变原数据），而是返回一个执行删除操作后的新dataframe；inplace=True，直接在原数据上修改。

datas.drop(labels='job',axis=1,inplace=True) #删除列
datas

运行效果：
在这里插入图片描述

三、删除指定列：del()

语法格式：
 del df[‘列名’]

del datas['channel']
datas

运行效果：
在这里插入图片描述

四、判断数据是否缺失

1.判断是否存在缺失数据：isnull()

判断序列元素是否为缺失（返回与序列长度一样的bool值）

datas.isnull()

运行效果：
在这里插入图片描述

2.判断值是否不为缺失：notnull()

datas.notnull()

运行效果：
在这里插入图片描述

3.判断存在缺失值”列”：.isnull().any()

datas.isnull().any()

运行效果：
在这里插入图片描述

4.统计每一列中缺失值的个数：.isnull().sum()

datas.isnull().sum()

运行效果：
在这里插入图片描述

五、删除值

1.删除缺失值：dropna()

语法格式：

DataFrame.dropna(
        self,
        axis: Axis = 0,
        how: str = "any",
        thresh=None,
        subset=None,
        inplace: bool = False,
    )

# axis：移除行或列，默认为0，即行含有空值移除行
# how：‘all’所有值为空移除，'any’默认值，包含空值移除
# thresh：包含thresh个空值时移除
# subset：axis轴上，指定需要处理的标签名称列表
# inplace：是否替换原始数据，默认False

删除含有NaN值的所有行 （axis=0 默认为0）

datas.dropna()

2. 删除含有NaN值的所有列

datas.dropna(axis=1 )

3. 删除元素都是NaN值的行

设置参数 how="all"，只有行一整行数据都是NaN的时候才会删除

datas.dropna(axis=0,how="all")

4. 删除元素都是NaN值的列

datas.dropna(axis=1,how="all")

5. 删除指定列中含有缺失的行

subset参数设置指定列

datas.dropna(subset=["data1"], axis=0)

六、填充值

测试数据

df = pd.DataFrame({'Colum1': ['a', 'b', 'c', 'd', 'd', 'e', 'f', 'g'],
                       'Colum2': [1, 1, 2, 3, np.NaN, 5, 5, np.NaN]})

1.对缺失值进行填充：fillna()

语法格式：

fillna(
        self,
        value: object | ArrayLike | None = None,
        method: FillnaOptions | None = None,
        axis: Axis | None = None,
        inplace: bool = False,
        limit=None,
        downcast=None,
    ) -> DataFrame | None

# value：用于填充的空值的值。
# method： {‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, default None。定义了填充空值的方法， pad / ffill表示用前面行/列的值，填充当前行/列的空值， backfill / bfill表示用后面行/列的值，填充当前行/列的空值。
# axis：选择轴，默认0（行），axis=1：列
# inplace：是否替换原始数据
# limit：int， default None。如果method被指定，对于连续的空值，这段连续区域，最多填充前 limit 个空值（如果存在多段连续区域，每段最多填充前 limit 个空值）。如果method未被指定， 在该axis下，最多填充前 limit 个空值（不论空值连续区间是否间断）
# downcast：dict, default is None，字典中的项为，为类型向下转换规则。或者为字符串“infer”，此时会在合适的等价类型之间进行向下转换，比如float64 to int64 if possible。

# 用0填充空值

printf(df.fillna(value=0))

运行效果
在这里插入图片描述

2.用前一行的值填补空值

设置参数 method='pad' 用前一行的值填补空值

printf(df.fillna(method='pad',axis=0))

运行效果
在这里插入图片描述

3.用后一列的值填补空值

设置参数 method='backfill'

printf(df.fillna(method='backfill', axis=1))

运行效果
在这里插入图片描述

5.设置填充个数

limit=数字，设置填充个数

printf(df.fillna(method='backfill', axis=0, limit=1))

运行效果
在这里插入图片描述

6.用前一个元素填充：ffill()

前向后填充缺失值，用缺失值的前一个元素填充，与fillna()相比没有那么多可选性

语法格式：

ffill(
        self: DataFrame,
        axis: None | Axis = None,
        inplace: bool = False,
        limit: None | int = None,
        downcast=None,
    ) -> DataFrame | None

df = pd.DataFrame({'Colum1': ['a', 'b', 'c', 'd', 'd', 'e', 'f', 'g'],
                       'Colum2': [1, 1, 2, 3, np.NaN, 5, 5, np.NaN]})
print(df )
print(df .ffill())

运行效果
在这里插入图片描述

七、用后一个元素填充：bfill()

后向填充缺失值，用缺失值的后一个元素填充

df = pd.DataFrame({'Colum1': ['a', 'b', 'c', 'd', 'd', 'e', 'f', 'g'],
                       'Colum2': [1, 1, 2, 3, np.NaN, 5, 5, np.NaN]})
print(df )
print(df .bfill())

运行效果
在这里插入图片描述

八、判断序列元素是否重复：duplicated()

DataFrame.duplicated(subset=None,keep='first')

subset：列标签，可选, 默认使用所有列,只考虑某些列来识别重复项传入列标签或者列标签的序列

keep：{‘first’，‘last’，False}，默认’first’
first：删除第一次出现的重复项。
last：删除重复项，除了最后一次出现。
false：删除所有重复项

df = pd.DataFrame({'Colum1': ['a', 'b', 'c', 'd', 'e', 'f', 'f', 'g'],
                       'Colum2': [1, 1, 2, 3, np.NaN, 5, 5, np.NaN]})
print(df)
print(df.duplicated())

运行效果
在这里插入图片描述

九、删除重复行：drop_duplicates()

DataFrame.drop_duplicates(
        self,
        subset: Hashable | Sequence[Hashable] | None = None,
        keep: Literal["first"] | Literal["last"] | Literal[False] = "first",
        inplace: bool = False,
        ignore_index: bool = False,
    ) -> DataFrame | None

参数说明：

subset：列标签，可选, 默认使用所有列,只考虑某些列来识别重复项传入列标签或者列标签的序列

keep：{‘first’，‘last’，False}，默认’first’
	first：删除第一次出现的重复项。
	last：删除重复项，除了最后一次出现。
	false：删除所有重复项

inplace：是否替换原数据，默认是False，生成新的对象，可以复制到新的DataFrame

ignore_index：bool，默认为False，如果为True，则生成的轴将标记为0，1，…，n-1。

列：
1.所有列：

df = pd.DataFrame({'Colum1': ['a', 'b', 'c', 'd', 'e', 'f', 'f', 'g'],
                       'Colum2': [1, 1, 2, 3, np.NaN, 5, 5, np.NaN]})
print(df)
print(df.drop_duplicates())

在这里插入图片描述
2.指定列

print(df)
print(df.drop_duplicates('Colum1'))

运行效果：
在这里插入图片描述

七、分割值

expand：默认为True

import numpy as np
import pandas as pd

df_yj = {'硬件':['键盘|鼠标|显示屏']}

df_yj = pd.DataFrame(data)
print(df_yj)
print(df_yj['硬件'].str.split('|',expand=True))

运行效果：
在这里插入图片描述

八、替换值

语法格式：
replace(
        self,
        to_replace=None,
        value=None,
        inplace: bool = False,
        limit=None,
        regex: bool = False,
        method: str = "pad",
    )

参数说明：
to_replace: 需要替换的值
value：替换后的值
inplace: 是否在原数据表上更改，默认 inplace=False
limit：向前或向后填充的最大尺寸间隙，用于填充缺失值
regex: 是否模糊查询，用于正则表达式查找，默认 regex=False

method: 填充方式，用于填充缺失值
	pad: 向前填充
	ffill: 向前填充
	bfill: 向后填充

1.单值替换

替换值

df = pd.DataFrame({'Colum1': ['a', 'b', 'c', 'd', 'e', 'f', 'f', 'g'],
                       'Colum2': [1, 1, 2, 3, np.NaN, 5, 5, np.NaN]})
print(df)
print(df.replace('a','b'))

应用效果
在这里插入图片描述

2.多值替换

print(df.replace(['a','c','d'],'b'))

运行效果：
在这里插入图片描述

print(df.replace(['b','d'],['a','c']))

运行效果：
在这里插入图片描述

3.正则表达式替换

to_replace接收正则语法，设置 regex=True

df = pd.DataFrame({'Colum1': ['aaa', 'ab', 'c', 'd', 'e', 'f', 'f', 'g'],
                       'Colum2': [1, 1, 2, 3, np.NaN, 5, 5, np.NaN]})
print(df)
print(df.replace('a.?',"A",regex=True))

运行效果：
在这里插入图片描述

奥利文儿
关注
  • 18
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pandas数据分析—数据统计函数
qq_48081868的博客
08-29 509
2.Pandas的数据统计函数 文章目录2.Pandas的数据统计函数前言一、三类统计函数1.汇总类统计2.唯一去重和按值计数3.相关系数和协方差总结 前言 笔者最近正在学习Pandas数据分析，将自己的学习笔记做成一套系列文章。本节主要记录Pandas的数据统计函数相关常用方法。 一、三类统计函数 提前读取数据 import pandas as pd fpath="./datas/600033.csv" df=pd.read_csv(fpath) 1.汇总类统计 # 展示所有的数字列统计结果，其中
超全的pandas数据分析常用函数总结：上篇
zhuxiao5的博客
03-31 1557
↑关注 + 星标~有趣的不像个技术号每晚九点，我们准时相约大家好，我是雅痞绅士JM基础知识在数据分析中就像是九阳神功，熟练的掌握，加以运用，就可以练就深厚的内力，成为绝顶高手...
Pandas数据分析常用函数
weixin_44457673的博客
04-13 488
pandas常用数据类型 pandas扩展库是基于扩展库numpy和matplotlib的数据分析模块，是一个开源的项目，提供了大量的标准数据类型，具有高效操作大型数据的功能。 使用pip install pandas在命令提示符环境下安装扩展库pandas。 常用数据类型： 1.Series，带标签的一维数组 2.DataFrame，带标签且大小可变的二维表格结构 Series简介与常用操作 1.series简介 Series是pandas提供的一维数组，有索引和值两部分组成，是一个类似于字典的结构。值的
Pandas数据分析基础—pandas自带函数map()/apply()/applymap()
sodaloveer的博客
08-31 4379
在进行数据处理时，经常会对一个DataFrame展开逐行、逐列、逐元素的操作，对应这些操作，常常使用Pandas中的map、apply和applymap三个函数进行处理。本文主要讲这三个函数在series、dataframe数据结构下应用情况及三个函数的区别。
【pandas】数据分析常用函数
晴朗的心情博客
03-03 486
文章目录apply列处理行处理 apply 行或列合理函数应用 列处理 def get_event_time(row): if row is not NaT and row: return datetime.strptime(row, "%Y-%m-%dT%H:%M:%S+08:00") else: return None df['eventTime'] = df['eventTime'].apply(
Python数据分析三部曲Pandas篇.pdf
10-27
Python数据分析三部曲中的Pandas篇主要讲解了如何在Python环境中安装和使用Pandas库进行数据处理。Pandas是Python中一个强大的数据处理库，它提供了高效的数据结构，如DataFrame和Series，使得数据清洗、分析和操作...
Python 数据分析&pandas基础.rar
03-24
Python数据分析与pandas库是现代数据科学领域中最常用和强大的工具之一。Pandas是一个开源的Python库，专门设计用于处理和分析结构化数据。它构建在NumPy之上，提供了高效的数据结构，如DataFrame和Series，使得数据...
B站 Python Pandas 数据分析，编程练习100例
02-25
在"B站 Python Pandas 数据分析，编程练习100例"这个主题中，我们主要探讨的是如何使用Python的Pandas库进行数据处理和分析。Pandas是Python中一个强大的数据分析工具，它提供了丰富的数据结构（如DataFrame和Series...
Python数据分析模块pandas用法详解
09-18
Python数据分析模块pandas是Python生态系统中的核心库，用于高效处理和分析数据。它构建在NumPy库之上，提供了丰富的数据结构和操作工具，使得数据清洗、处理和探索性数据分析变得非常方便。 一、pandas核心数据...
6个实用Pandas函数，快速掌握数据分析！
最新发布
u011585771的博客
04-16 305
这些基础但功能强大的Pandas函数是数据分析的入门神器，简单的语法与灵活的操作让你即使是零基础也能快速上手。接下来我们利用apply()将kpi_category()应用于数据集的KPI这一列，将所有员工按照其各自KPI数值进行打分。需要注意的是，describe()函数会对所有数值型变量进行统计，但实际上ID这一列的统计结果没有意义。这段代码构建了一个DataFrame对象，也就是我们上面展示的表格，这方便我们后续的操作。现在，我们就来了解6个非常实用的Pandas函数，迅速上手Pandas数据分析。
100 个 pandas 数据分析函数总结
cainiao_python的博客
03-08 2645
（点击上方快速关注并设置为星标，一起学Python）来源：数据分析1480经过一段时间的整理，本期将分享我认为比较常规的100个实用函数，这些函数大致可以分为六类，分别是统计汇总函数、数据...
Pandas数据分析常用函数速查
小小的博客
12-22 316
Pandas数据分析常用函数速查整理
66个最常用的pandas数据分析函数
菜鸟学Python数据分析
03-24 1903
说起pandas这个是python数据清洗的利器，它可以让你像sql一样操作数据，同时可以对数据进行各种计算，转换完成后还可以方便的存储到excel，转化为array、Matrix供进一步...
pandas数据分析常用的统计学方法和函数总结
m0_73291751的博客
04-01 1042
groupby()：将数据集按照一个或多个列分组，并对每个分组应用一个或多个聚合函数。apply()：将一个函数应用于数据集的每个元素或每个列。median()：对每个分组中的数据进行中位数计算。mean()：对每个分组中的数据进行均值计算。max()：对每个分组中的数据进行最大值计算。min()：对每个分组中的数据进行最小值计算。count()：计算数据集的非缺失值的数量。count()：对每个分组中的数据进行计数。sum()：对每个分组中的数据进行求和。mean()：计算数据集的均值。
在Pandas中处理缺失数据
python收藏家的博客
07-11 2235
在Pandas中处理缺失数据
[黑马程序员Pandas教程]——Pandas常用计算函数
qq_56444564的博客
11-08 316
排序sort_values函数 按值排序rank函数 返回安置排序的序号聚合函数df.corr函数 相关性计算min函数 计算最小值max函数 计算最大值mean函数 计算平均值std函数 计算标准偏差quantile函数 计算分位数sum函数 计算所有数值的和count函数 计算非空数据的个数其他计算函数round(n)函数 改变浮点数的小数位数为nvalue_counts函数 计算不同的数据出现的次数。
Pandas数据分析—对缺失值的处理
qq_48081868的博客
08-29 2736
7.Pandas的对缺失值的处理 文章目录7.Pandas的对缺失值的处理前言一、概述二、函数的使用实例1.读取excel的时候，忽略前面的几个空行2.检测空值3.删除掉全是空值的列4.删除掉全是空值的行5.将分数列为空的值填充为06.将姓名的缺失值填充总结 前言 笔者最近正在学习Pandas数据分析，将自己的学习笔记做成一套系列文章。本节主要记录Pandas对缺失值的处理的方法。 一、概述 Pandas使用这些函数来处理缺失值 isnull和notnull: 检测是否是空值，可用于df和serie
Python pandas数据分析中常用方法
热门推荐
心之所向
03-20 10万+
官方教程 读取写入文件 官方IO 读取 写入 read_csv 　　　　　　to_csv read_excel 　　　　　to_excel read_hdf 　　　　　　to_hdf read_sql 　　　　　　to_sql read_json　　　　　　to_json read_msgpack (experimenta...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值