Pandas应用

最新推荐文章于 2024-06-10 16:22:42 发布
最新推荐文章于 2024-06-10 16:22:42 发布
阅读量688 收藏 5
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40723809/article/details/87971785
版权

什么是Pandas？

Pandas 是基于 NumPy 的一个开源 Python 库，它被广泛用于快速分析数据，以及数据清洗和准备等工作。它的名字来源是由“ Panel data”（面板数据，一个计量经济学名词）两个单词拼成的。简单地说，你可以把 Pandas 看作是 Python 版的 Excel。
在这里插入图片描述

常见的数据类型

1)Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型，字符串、boolean值、数字等都能保存在Series中。
2)Time- Series：以时间为索引的Series。
3)DataFrame：二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。
4)Panel ：三维的数组，可以理解为DataFrame的容器。
Panel 4D：四维…
Panel 5D: 五维
…
Panel nD: n维

安装Pandas

如果你已经安装了 Anaconda，你可以很方便地在终端或者命令提示符里输入命令安装 Pandas：

conda install pandas

如果你还没安装 Anaconda，你也可以用 Python 自带的包管理工具 pip 来安装：

pip install pandas

查看所安装Pandas的版本信息：

import pandas as pd
print(pd.__version__)

在这里插入图片描述

创建一个Series对象

import pandas as pd
import numpy as np
import string
from matplotlib import pyplot as plt

1）通过列表创建Series对象：（如果不指定索引， 默认从0开始）

array = ["粉条", "粉丝", "粉带"]
s1 = pd.Series(data=array)
print(s1)

在这里插入图片描述
2). 通过numpy的对象Ndarray创建Series：

n = np.random.randn(5)   # 随机创建一个ndarray对象;
s2 = pd.Series(data=n)
print(s2)

在这里插入图片描述

n = np.random.randn(5)   # 随机创建一个ndarray对象;
s2 = pd.Series(data=n)
# 修改元素的数据类型;
ss2 = s2.astype(np.int)
print(ss2)

在这里插入图片描述
3). 通过字典创建Series对象：

dict = {string.ascii_lowercase[i]:i for i in range(10)}
s3 = pd.Series(dict)
print(s3)

在这里插入图片描述

Series的基本操作

import pandas as pd
import numpy as np
import  string
array = ["粉条", "粉丝", "粉带"]
s1 = pd.Series(data=array)
print(s1)

在这里插入图片描述
1). 修改Series索引

print(s1.index)
s1.index = ['A', 'B', 'C']
print(s1)

在这里插入图片描述
2). Series纵向拼接;

array = ["粉条", "粉丝", "粉带"]
 如果不指定索引， 默认从0开始;
s2 = pd.Series(data=array)
s3 = s1.append(s2)
print(s3)

**3). 删除指定索引对应的元素;**
3). 删除指定索引对应的元素;

s1.index = ['A', 'B', 'C']
# array = ["粉条", "粉丝", "粉带"]
s2 = pd.Series(data=array)
s3 = s1.append(s2)
s3 = s3.drop('C')  #bbbbbbbbbb 删除索引为‘C’对应的值;
print(s3)

在这里插入图片描述
4). 根据指定的索引查找元素

print(s3['B'])
s3['B'] = np.nan
print(s3)

在这里插入图片描述
5). 切片操作 — 同列表

print(s3[:2])
print(s3[::-1])
print(s3[-2:])  # 显示最后两个元素

在这里插入图片描述

Series运算

import pandas as pd
import numpy as np
import  string

s1  = pd.Series(np.arange(5), index=list(string.ascii_lowercase[:5]))
s2  = pd.Series(np.arange(2, 8), index=list(string.ascii_lowercase[2:8]))

print(s1)
print(s2)

在这里插入图片描述
注意：
按照对应的索引进行计算， 如果索引不同，则填充为Nan。

1）加法

print(s1 + s2)
print(s1.add(s2))

在这里插入图片描述
2）减法

print(s1 - s2)
print(s1.sub(s2))

在这里插入图片描述
3）乘法

print(s1 * s2)
print(s1.mul(s2))

在这里插入图片描述
4）除法

print(s1 / s2)
print(s1.div(s2))

在这里插入图片描述
5）中位数

print(s1)
print(s1.median())

在这里插入图片描述

6）求和

print(s1.sum())

在这里插入图片描述

7）最大值

print(s1.max())

在这里插入图片描述

8）最小值

print(s1.min())

在这里插入图片描述

Series特殊的where方法


import pandas as pd
import numpy as np
import string

# &**********series中的where方法运行结果和numpy中完全不同;
s1 = pd.Series(np.arange(5), index=list(string.ascii_lowercase[:5]))
print(s1.where(s1 > 3))

# 对象中不大于3的元素赋值为10；
print(s1.where(s1 > 3, 10))

**# 对象中大于3的元素赋值为10；**
print(s1.mask(s1 > 3, 10))

在这里插入图片描述

创建DataFrame数据类型

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

方法1： 通过列表创建

li = [
    [1, 2, 3, 4],
    [2, 3, 4, 5]
]

# DataFRame对象里面包含两个索引， 行索引(0轴， axis=0)， 列索引(1轴， axis=1)
d1 = pd.DataFrame(data=li, index=['A', 'B'], columns=['views', 'loves', 'comments', 'tranfers'])
# print(d1)

在这里插入图片描述
方法2： 通过numpy对象创建

narr = np.arange(8).reshape(2, 4)
# DataFRame对象里面包含两个索引， 行索引(0轴， axis=0)， 列索引(1轴， axis=1)
d2 = pd.DataFrame(data=narr, index=['A', 'B'], columns=['views', 'loves', 'comments', 'tranfers'])
print(d2)

在这里插入图片描述
方法三: 通过字典的方式创建

dict = {
    'views': [1, 2, ],
    'loves': [2, 3, ],
    'comments': [3, 4, ]

}
d3 = pd.DataFrame(data=dict, index=['粉条', "粉丝"])
print(d3)

在这里插入图片描述
日期操作的特例:

pd.date_range()
dates = pd.date_range(start='1/1/2018', end='1/08/2018')
print(dates)

行索引

dates = pd.date_range(start='today', periods=6)

数据

data_arr = np.random.randn(6, 4)

列索引

columns = ['A', 'B', 'C', 'D']
d4 = pd.DataFrame(data_arr, index=dates, columns=columns)
print(d4)

在这里插入图片描述
一维对象: 建立一个以2019年每一天作为索引， 值为随机数；

dates = pd.date_range(start='1/1/2019', end='12/31/2019', freq='D')
datas = np.random.randn(len(dates))
s1 = pd.Series(datas, index=dates)
print(s1[:3])

在这里插入图片描述

从文件中读取数据

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

1). csv文件的写入

df = pd.DataFrame(
    {'province': ['陕西', '陕西', '四川', '四川', '陕西'],
     'city': ['咸阳', '宝鸡', '成都', '成都', '宝鸡'],
     'count1': [1, 2, 3, 4, 5],
     'count2': [1, 2, 33, 4, 5]
     }
)

df.to_csv('doc/csvFile.csv')
print("csv文件保存成功")

在这里插入图片描述
在这里插入图片描述

2). csv文件的读取

df2 = pd.read_csv('doc/csvFile.csv')
print(df2)

在这里插入图片描述

3). excel文件的写入

df2.to_excel("/tmp/excelFile.xlsx", sheet_name="省份统计")
print("excel文件保存成功")

在这里插入图片描述
在这里插入图片描述

分组与聚合之group_by

pandas提供了一个灵活高效的groupby功能，
1). 它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。
2). 根据一个或多个键（可以是函数、数组或DataFrame列>名）拆分pandas对象。
3). 计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

df = pd.DataFrame(
    {'province': ['陕西', '陕西', '四川', '四川', '陕西'],
     'city': ['咸阳', '宝鸡', '成都', '成都', '宝鸡'],
     'count1': [1, 2, 3, 4, 5],
     'count2': [1, 2, 33, 4, 5]
     }
)

在这里插入图片描述
1)根据某一列的key值进行统计分析;

grouped = df['count1'].groupby(df['province'])
print(grouped.describe())
print(grouped.median())

在这里插入图片描述
2)根据城市统计分析cpunt1的信息;

grouped = df['count1'].groupby(df['city'])
print(grouped.max())

在这里插入图片描述
3)指定多个key值进行分类聚合

grouped = df['count1'].groupby([df['province'], df['city']])
print(grouped)
print(grouped.max())
print(grouped.sum())
print(grouped.count())

在这里插入图片描述
4)通过unstack方法， 实现层次化的索引;

 print(grouped.max().unstack())

在这里插入图片描述

字符串操作

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt



series1= pd.Series(['$A:1', '$B:2', '$C:3', np.nan, '$cat:3'])
print(series1)

在这里插入图片描述
1）将所有的字母转换为小写字母， 除了缺失值

print(series1.str.lower())

在这里插入图片描述
2) 将所有的字母转换为大写字母， 除了缺失值

print(series1.str.upper())

在这里插入图片描述
3)分离

print(series1.str.split(":"))

在这里插入图片描述

4)去掉左右两端的某个字符

print(series1.str.strip('$'))

在这里插入图片描述

qq_40723809
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pandas实战100例-专栏介绍
惊鸿若梦一书生
01-13 1893
Pandas，Python数据科学的心脏，是探索和分析数据世界的强大工具。想象一下，用几行代码就能洞察庞大数据集的秘密，无论是金融市场趋势还是社交媒体动态。 通过Pandas，你可以轻松地整理、清洗、转换数据，将杂乱无章的数据变成有意义的洞察。它的灵活性和效率是数据科学家和分析师的必备利器。 学习Pandas，就是开启数据探索之旅的第一步，让数据讲述背后的故事。你准备好了吗？加入Pandas的世界，成为数据的大师。
pandas 应用记录
因每天学习而伟大
04-16 179
插入值 pandas_df.index = range(1, len(pandas_df) + 1) # set index from 1 pandas_index = pandas_df.index # 将dataframe的索引赋给一个变量 pandas_df.insert(0, 'index', pandas_index) # 第一个参数是列插入的位置 ...
pandas应用——读excel和DataFrame转字典
老笨妞
01-24 1万+
1.读excel表的方法：read_excel() 重要参数 sheetname:选择要读的sheet index_col: 定义某一列为索引，参数的值是列名。 例子： import pandas as pd df = pd.read_excel('excel_file.xlsx', sheetname='sheet1', index_col='col_1') 2.DataFram
Python之Pandas详解
twg666的博客
06-10 1468
Pandas是Python语言的一个扩展程序库，用于数据分析。Pandas是一个开放源码、BSD许可的库，提供高性能、易于使用的数据结构和数据分析工具。
pandas应用之pivot函数
热门推荐
superY_26的博客
01-16 1万+
1、pivot功能介绍 pivot函数的定义 pivot(index=None,columns=None,values=None) -> DataFrame pivot函数的说明 通过给定的索引(index)和列(column)的值重新生一个DataFrame对象。 根据列值对数据进行整形(生成一个“透视”表)。从指定的索引/列中使用唯一的值来形成结果数据帧的轴。此函数不支持数据聚合，多个值将导致列中的多索引。 pivo函数的参数 index：指定一列做为生成DataFrame对象的索引，如果为空则
pandas应用和学习
MSJ3917的博客
12-30 1022
1.Python在数据处理上有代码灵活,开发快速的特点.尤其是Python的Pandas包,无论是在数据分析领域还是在大数据开发场景都具有显著优势:①Pandas是Python的一个第三方包,也是商业和工程领域最流行的结构化数据工具集,用于数据清洗,处理以及分析.②Pandas和Spark中很多功能都类似,甚至使用方法都相同.建议两者可以一起学习.③Pandas在数据开发的流程中的应用场景。
pip与pandas应用
shifengwang123的博客
10-08 317
1.一个环境既有anconda，又有Python，在cmd环境进行pip升级，成功后，再应用最新版本pip（19.2.3）进行下载pandas，却显示下载失败，原因是pip版本低，最后发现是anconda的pip版本低，导致cmd应用pip下载pandas失败，最后将anconda的pip进行升级后成功实现对pandas下载，升级指令：python -m pip install --upgrade...
python爬虫的pandas应用详解
ouy_momo的博客
04-25 1090
Pandas 安装 安装 pandas 需要基础环境是 Python，开始前我们假定你已经安装了 Python 和 Pip。 使用 pip 安装 pandas: pip install pandas 安装成功后，我们就可以导入 pandas 包使用： import pandas 实例 - 查看 pandas 版本 >>>importpandas>>>pandas.__version__ # 查看版本'1.1.5' 导入 pandas...
pandas操作excel的应用
u013089490的博客
06-11 6060
1、pandas基本读取和写入excel表格 1.1、pandas读取excel表格 import pandas as pd # 创建空DataFrame实例，DataFrame就是数据帧 df = pd.DataFrame({'id':[1,2,3],'name':['张三','李四','王五']}) # pandas默认第一个列会自动创建索引，使用set_index()方法指定索引 df...
Pandas高级应用
Asrfb0416的博客
05-25 1802
Pandas高级应用
【Python从入门到进阶】57、Pandas入门：背景、应用场景与基本操作
程序猿之洞
06-10 993
在数字化时代，数据已经成为企业决策和个人洞察的重要基础。无论是金融市场的波动、零售业的销售趋势，还是科研实验的结果，都蕴含在大量的数据之中。然而，如何有效地提取、分析和解读这些数据，成为了摆在人们面前的一大挑战。这时，Python的Pandas库便成为了数据分析领域的得力助手。Pandas是一个开源的Python数据分析工具，它提供了高效、灵活且易于使用的数据结构和数据分析功能，使得数据工作者能够轻松地进行数据处理和分析。
3.Pandas应用 GroupBy
10-21
测试数据
2.pandas应用 - 数据透视 测试数据
10-11
数据透视 测试数据
python pandas
11-13
6. **数据透视表**：Pandas的`pivot_table()`函数可以创建类似电子表格的汇总数据，允许我们根据不同的列进行分组并应用聚合函数。 7. **数据可视化**：虽然Pandas自身不提供图形绘制功能，但它可以与Matplotlib和...
Python pandas RFM模型应用实例详解
09-18
Python pandas RFM模型是一种在客户关系管理(CRM)中广泛使用的数据分析工具，它通过三个关键指标来评估客户的价值：最近一次消费(Recency)、消费频率(Frequency)和消费金额(Monetary)。该模型旨在识别最有价值的客户...
十分钟搞定pandas
04-25
在实际应用中，常常需要对数据进行更复杂的操作，比如按条件筛选、聚合、合并、重塑等。pandas提供了一系列高效的操作函数，如`filter()`, `groupby()`, `merge()`, `pivot_table()`等，这些函数极大地简化了数据...
基于Springboot和Vue的图书借还管理系统源码 图书借还管理系统代码（高分毕设）
最新发布
07-28
图书借还管理系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！
C语言内存管理：静态与动态分配的较量
07-28
C语言是一种通用的编程语言，由丹尼斯·里奇（Dennis Ritchie）在20世纪70年代早期于美国电话电报公司（AT&T）的贝尔实验室开发。C语言以其高效性、灵活性和可移植性而闻名，它是一种过程式编程语言，提供了对底层硬件的直接访问能力。 C语言的特点包括： 1. **简洁高效**：C语言的语法简洁，执行效率高，适合编写系统软件。 2. **接近硬件**：C语言提供了对内存地址和位操作的直接控制，使其非常适合硬件级编程。 3. **可移植性**：C语言编写的程序可以在不同的操作系统和硬件平台上编译和运行，具有很好的可移植性。 4. **丰富的库支持**：C语言拥有大量的标准库，如标准输入输出库（stdio.h）、数学库（math.h）等。 5. **结构化编程**：C语言支持结构化编程，允许使用循环、条件判断和函数等控制结构。 6. **指针**：C语言的指针功能强大，可以操作内存地址，实现复杂的数据结构和算法。 7. **编译型语言**：C语言是一种编译型语言，源代码需要通过编译器转换成机器码才能运行。 C语言广泛应用于操作系统（如Unix和Linux）、嵌入式系统、高性能
通讯协议规范-命令包格式
07-28
提供一份通讯协议规范，包含命令包、格式等，在上下位机调试的时候可参考该文档，制定对应的通讯协议。
pandas应用实例
05-24
以下是一个简单的Pandas应用实例，展示如何使用Pandas处理数据： ```python import pandas as pd # 创建一个数据框 data = {'名字': ['小明', '小红', '小刚'], '年龄': [20, 21, 22], '性别': ['男', '女', '男...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值