Pandas应用

最新推荐文章于 2024-08-23 09:48:05 发布
最新推荐文章于 2024-08-23 09:48:05 发布
阅读量723 收藏 5
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40723809/article/details/87971785
版权
Pandas是Python中用于数据分析的重要库，包括Series和DataFrame数据类型。本文介绍了如何安装Pandas，创建Series和DataFrame，进行数据操作如索引、拼接、运算，以及分组与聚合等高级功能。此外，还涵盖了字符串操作和从文件中读取数据。
摘要由CSDN通过智能技术生成

什么是Pandas？

Pandas 是基于 NumPy 的一个开源 Python 库，它被广泛用于快速分析数据，以及数据清洗和准备等工作。它的名字来源是由“ Panel data”（面板数据，一个计量经济学名词）两个单词拼成的。简单地说，你可以把 Pandas 看作是 Python 版的 Excel。
在这里插入图片描述

常见的数据类型

1)Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型，字符串、boolean值、数字等都能保存在Series中。
2)Time- Series：以时间为索引的Series。
3)DataFrame：二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。
4)Panel ：三维的数组，可以理解为DataFrame的容器。
Panel 4D：四维…
Panel 5D: 五维
…
Panel nD: n维

安装Pandas

如果你已经安装了 Anaconda，你可以很方便地在终端或者命令提示符里输入命令安装 Pandas：

conda install pandas

如果你还没安装 Anaconda，你也可以用 Python 自带的包管理工具 pip 来安装：

pip install pandas

查看所安装Pandas的版本信息：

import pandas as pd
print(pd.__version__)

在这里插入图片描述

创建一个Series对象

import pandas as pd
import numpy as np
import string
from matplotlib import pyplot as plt

1）通过列表创建Series对象：（如果不指定索引， 默认从0开始）

array = ["粉条", "粉丝", "粉带"]
s1 = pd.Series(data=array)
print(s1)

在这里插入图片描述
2). 通过numpy的对象Ndarray创建Series：

n = np.random.randn(5)   # 随机创建一个ndarray对象;
s2 = pd.Series(data=n)
print(s2)

在这里插入图片描述

n = np.random.randn(5)   # 随机创建一个ndarray对象;
s2 = pd.Series(data=n)
# 修改元素的数据类型;
ss2 = s2.astype(np.int)
print(ss2)

在这里插入图片描述
3). 通过字典创建Series对象：

dict = {string.ascii_lowercase[i]:i for i in range(10)}
s3 = pd.Series(dict)
print(s3)

在这里插入图片描述

Series的基本操作

import pandas as pd
import numpy as np
import  string
array = ["粉条", "粉丝", "粉带"]
s1 = pd.Series(data=array)
print(s1)

在这里插入图片描述
1). 修改Series索引

print(s1.index)
s1.index = ['A', 'B', 'C']
print(s1)

在这里插入图片描述
2). Series纵向拼接;

array = ["粉条", "粉丝", "粉带"]
 如果不指定索引， 默认从0开始;
s2 = pd.Series(data=array)
s3 = s1.append(s2)
print(s3)

**3). 删除指定索引对应的元素;**
3). 删除指定索引对应的元素;

s1.index = ['A', 'B', 'C']
# array = ["粉条", "粉丝", "粉带"]
s2 = pd.Series(data=array)
s3 = s1.append(s2)
s3 = s3.drop('C')  #bbbbbbbbbb 删除索引为‘C’对应的值;
print(s3)

在这里插入图片描述
4). 根据指定的索引查找元素

print(s3['B'])
s3['B'] = np.nan
print(s3)

在这里插入图片描述
5). 切片操作 — 同列表

print(s3[:2])
print(s3[::-1])
print(s3[-2:])  # 显示最后两个元素

在这里插入图片描述

Series运算

import pandas as pd
import numpy as np
import  string

s1  = pd.Series(np.arange(5), index=list(string.ascii_lowercase[:5]))
s2  = pd.Series(np.arange(2, 8), index=list(string.ascii_lowercase[2:8]))

print(s1)
print(s2)

在这里插入图片描述
注意：
按照对应的索引进行计算， 如果索引不同，则填充为Nan。

1）加法

print(s1 + s2)
print(s1.add(s2))

在这里插入图片描述
2）减法

print(s1 - s2)
print(s1.sub(s2))

在这里插入图片描述
3）乘法

print(s1 * s2)
print(s1.mul(s2))

在这里插入图片描述
4）除法

print(s1 / s2)
print(s1.div(s2))

在这里插入图片描述
5）中位数

print(s1)
print(s1.median())

在这里插入图片描述

6）求和

print(s1.sum())

在这里插入图片描述

7）最大值

print(s1.max())

在这里插入图片描述

8）最小值

print(s1.min())

在这里插入图片描述

Series特殊的where方法


import pandas as pd
import numpy as np
import string

# &**********series中的where方法运行结果和numpy中完全不同;
s1 = pd.Series(np.arange(5), index=list(string.ascii_lowercase[:5]))
print(s1.where(s1 > 3))

# 对象中不大于3的元素赋值为10；
print(s1.where(s1 > 3, 10))

**# 对象中大于3的元素赋值为10；**
print(s1.mask(s1 > 3, 10))

在这里插入图片描述

创建DataFrame数据类型

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

方法1： 通过列表创建

li = [
    [1, 2, 3, 4],
    [2, 3, 4, 5]
]

# DataFRame对象里面包含两个索引， 行索引(0轴， axis=0)， 列索引(1轴， axis=1)
d1 = pd.DataFrame(data=li, index=['A', 'B'], columns=['views', 'loves', 'comments', 'tranfers'])
# print(d1)

在这里插入图片描述
方法2： 通过numpy对象创建

narr = np.arange(8).reshape(2, 4)
# DataFRame对象里面包含两个索引， 行索引(0轴， axis=0)， 列索引(1轴， axis=1)
d2 = pd.DataFrame(data=narr, index=['A', 'B'], columns=['views', 'loves', 'comments', 'tranfers'])
print(d2)

在这里插入图片描述
方法三: 通过字典的方式创建

dict = {
    'views': [1, 2, ],
    'loves': [2, 3, ],
    'comments': [3, 4, ]

}
d3 = pd.DataFrame(data=dict, index=['粉条', "粉丝"])
print(d3)

在这里插入图片描述
日期操作的特例:

pd.date_range()
dates = pd.date_range(start='1/1/2018', end='1/08/2018')
print(dates)

行索引

dates = pd.date_range(start='today', periods=6)

数据

data_arr = np.random.randn(6, 4)

列索引

columns = ['A', 'B', 'C', 'D']
d4 = pd.DataFrame(data_arr, index=dates, columns=columns)
print(d4)

在这里插入图片描述
一维对象: 建立一个以2019年每一天作为索引， 值为随机数；

dates = pd.date_range(start='1/1/2019', end='12/31/2019', freq='D')
datas = np.random.randn(len(dates))
s1 = pd.Series(datas, index=dates)
print(s1[:3])

在这里插入图片描述

从文件中读取数据

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

1). csv文件的写入

df = pd.DataFrame(
    {'province': ['陕西', '陕西', '四川', '四川', '陕西'],
     'city': ['咸阳', '宝鸡', '成都', '成都', '宝鸡'],
     'count1': [1, 2, 3, 4, 5],
     'count2': [1, 2, 33, 4, 5]
     }
)

df.to_csv('doc/csvFile.csv')
print("csv文件保存成功")

在这里插入图片描述
在这里插入图片描述

2). csv文件的读取

df2 = pd.read_csv('doc/csvFile.csv')
print(df2)

在这里插入图片描述

3). excel文件的写入

df2.to_excel("/tmp/excelFile.xlsx", sheet_name="省份统计")
print("excel文件保存成功")

在这里插入图片描述
在这里插入图片描述

分组与聚合之group_by

pandas提供了一个灵活高效的groupby功能，
1). 它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。
2). 根据一个或多个键（可以是函数、数组或DataFrame列>名）拆分pandas对象。
3). 计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

df = pd.DataFrame(
    {'province': ['陕西', '陕西', '四川', '四川', '陕西'],
     'city': ['咸阳', '宝鸡', '成都', '成都', '宝鸡'],
     'count1': [1, 2, 3, 4, 5],
     'count2': [1, 2, 33, 4, 5]
     }
)

在这里插入图片描述
1)根据某一列的key值进行统计分析;

grouped = df['count1'].groupby(df['province'])
print(grouped.describe())
print(grouped.median())

在这里插入图片描述
2)根据城市统计分析cpunt1的信息;

grouped = df['count1'].groupby(df['city'])
print(grouped.max())

在这里插入图片描述
3)指定多个key值进行分类聚合

grouped = df['count1'].groupby([df['province'], df['city']])
print(grouped)
print(grouped.max())
print(grouped.sum())
print(grouped.count())

在这里插入图片描述
4)通过unstack方法， 实现层次化的索引;

 print(grouped.max().unstack())

在这里插入图片描述

字符串操作

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt



series1= pd.Series(['$A:1', '$B:2', '$C:3', np.nan, '$cat:3'])
print(series1)

在这里插入图片描述
1）将所有的字母转换为小写字母， 除了缺失值

print(series1.str.lower())

在这里插入图片描述
2) 将所有的字母转换为大写字母， 除了缺失值

print(series1.str.upper())

在这里插入图片描述
3)分离

print(series1.str.split(":"))

在这里插入图片描述

4)去掉左右两端的某个字符

print(series1.str.strip('$'))

在这里插入图片描述

qq_40723809
关注
Pandas应用query进行表达式运算
Mr数据杨
06-10 3万+
在数据科学的世界中，视觉化工具是一种语言。但怎样才能掌握这门语言呢？数据可视化不仅仅是关于漂亮的图表和图形，它是一种传达信息的强大方式。在这篇文章中，将深入探索 Python 中的一个强大工具 —— Pyecharts，通过 Pandas 对象的操作，来展示数据可视化的艺术。从创建简单的 Series 到理解其 ndarray-like 和 dict-like 的属性，每一步都是对数据的深入了解。不需要是数据科学家，也能创建引人入胜的图表。通过几行代码，就能揭示隐藏在日常生活数据背后的故事。
Pandas应用eval进行简化数据运算
Mr数据杨
06-05 1607
是Pandas中极为强大且灵活的工具，它使得用户可以通过字符串表达式在DataFrame中直接进行操作，从而提升代码的简洁性和执行效率。在数据处理过程中，它能够避免不必要的中间变量，并允许用户使用熟悉的数学符号和逻辑表达式进行复杂的计算。无论是基本的列运算还是复杂的多表达式计算，都能够高效地完成任务。在工作中的数据筛选、计算分析等场景中，合理使用能显著提高代码的可读性和性能，使数据处理过程更加流畅。
pandas实战运用
09-03
pandas数据分析模块，对pandas数据分析的api进行了实战讲解
【Python进阶】9- Pandas的应用
我们会很适合 慢慢来 总会遇见你的
03-29 2760
Pandas是Wes McKinney在2008年开发的一个强大的**分析结构化数据**的工具集。 Pandas以NumPy为基础（数据表示和运算），提供了用于数据处理的函数和方法，对数据分析和数据挖掘提供了很好的支持； 同时Pandas还可以跟数据可视化工具Matplotlib很好的整合在一起，非常轻松愉快的实现数据的可视化展示。 Pandas核心的数据类型是Series（数据系列）、DataFrame（数据表/数据框），分别用于处理一维和二维的数据，除此之外还有一个名为Index的类型及其子类型，它为S
深入理解Python数据分析利器——Pandas库详解（一）
最新发布
小高~的博客
08-23 4492
Pandas是Python中专为数据操作和分析设计的开源库，提供了高性能的数据结构和丰富的数据操作工具。Pandas的主要目标是成为数据分析领域的高级工具，解决多种数据格式的处理需求。无论是表格数据（如SQL表或Excel表），还是多维数组、时间序列数据，Pandas都能轻松应对。Series：一维数组，包含数据和对应的索引。DataFrame：二维表格数据结构，既有行索引也有列索引，类似于电子表格或SQL表格。接下来，我们将通过具体代码示例详细介绍如何使用这两个数据结构以及Pandas的常见功能。
pandas简单应用
hedongya的博客
05-25 524
''' 功能： 利用pandas读取文件1，求解其中两列平均值并将其插入到模板文件2，最后输出到excel中 制作时间：2018/5/24 作者： 何东亚 ''' import pandas as pd #文件1 name=r'E:\model\Post\Rotating hub My.txt' #模板文件2 name2=r'E:\model\Post\Ad1.00Rotating hub Mx...
pandas应用整理
zhanghaijun2013的博客
03-27 316
首先导入pandas库 import pandas as pd Series pandas中包含Series和DataFrame，首先来看Series 创建Series sr = pd.Series([1,2,3,4]) 也可以在创建的时候指定index sr = pd.Series([1,2,3,4], index=['a','b','c','d]') 用字典创建Series对象 sco...
Pandas数据应用
m0_67196331的博客
03-06 848
1.Pandas的Series类对象创建： 2.获取索引： 3：获取数据：
3.Pandas应用 GroupBy
10-21
测试数据
2.pandas应用 - 数据透视 测试数据
10-11
数据透视 测试数据
python爬虫的pandas应用详解
ouy_momo的博客
04-25 1151
Pandas 安装 安装 pandas 需要基础环境是 Python，开始前我们假定你已经安装了 Python 和 Pip。 使用 pip 安装 pandas: pip install pandas 安装成功后，我们就可以导入 pandas 包使用： import pandas 实例 - 查看 pandas 版本 >>>importpandas>>>pandas.__version__ # 查看版本'1.1.5' 导入 pandas...
pandas应用
a1234556667的博客
09-26 1017
模拟转盘游戏 import numpy as np import pandas as pd #模拟转盘100000次 data = np.random.ranf(100000) #奖项等级划分 category = (0.0,0.08,0.3,1.0) labels = ('一等奖'，'二等奖'，'三等奖') #对模拟数据进行划分 result = pd.cut(data, category,labels=labels) results = pd.value_counts(result) print(r
pandas的一些应用
akon_wong_hkbu的博客
12-15 413
1.DataFrame.sub(other, axis='columns', level=None, fill_value=None)(dataframe相减) Subtraction of dataframe and other, element-wise (binary operator sub). Equivalent to dataframe - other, but with s
pandas基本应用
gaotihong的博客
08-29 325
虽然是英文，但是还是简单的，读起来比较顺畅 https://www.dataquest.io/blog/pandas-tutorial-python-2/  
pandas应用（一）
kalath_aiur的博客
03-13 220
数据结构 pandas中，有两种常用的数据结构：Series和DataFrame。 Series是一个带有名称和索引的一维数组。而DataFrame是一个带有索引的二维数据结构。 举例说明： s1 = pd.Series(data=[123,55,78,90,120], index=['kalath', 'satoshi', 'hikari', 'naomi', 'lisa'], dtype=n...
关于pandas的一些应用
jinruoyanxu的博客
07-06 500
import pandas as pd   df0 = pd.DataFrame(....) # df0为数据全体   1、同时索引两列  ：  df[ ['列名1',‘列名2’] ]   2、把某列中 等于某值得 样本筛选出来，如把客户性质列的 'Bad‘ 客户筛选出来： 方法一：gb = df0.groupby(['客户性质'])  #首先把df0 按照客户性质group一下
Pandas函数应用
WangYouJin321的博客
06-25 526
要将自定义或其他库的函数应用于Pandas对象，有三个重要的方法，下面来讨论如何使用这些方法。使用适当的方法取决于函数是否期望在整个DataFrame，行或列或元素上进行操作。 表合理函数应用：pipe() 行或列函数应用：apply() 元素函数应用：applymap() 表格函数应用 可以通过将函数和适当数量的参数作为管道参数来执行自定义操作。 因此，对整个DataFrame执行操作。...
pandas的基础应用
IT浪尖
02-18 366
import pandas as pd import numpy as np # series 的使用方法 s = pd.Series([1,3,6,np.nan,44,1]) print(s) print(s.dtype) #DataFrame 的创建： dates= pd.date_range('20170101',periods=6) df = pd.DataFr
pandas应用实例
05-24
以下是一个简单的Pandas应用实例，展示如何使用Pandas处理数据： ```python import pandas as pd # 创建一个数据框 data = {'名字': ['小明', '小红', '小刚'], '年龄': [20, 21, 22], '性别': ['男', '女', '男']} df = pd.DataFrame(data) # 显示数据框 print(df) # 选择特定列 print(df['名字']) # 选择特定行 print(df.loc[0]) # 过滤数据 print(df[df['年龄'] > 20]) # 添加一列 df['城市'] = ['北京', '上海', '广州'] print(df) # 删除一列 df = df.drop('城市', axis=1) print(df) # 对数据进行排序 df = df.sort_values('年龄') print(df) ``` 以上代码创建了一个数据框，显示了如何选择特定列或行，过滤数据，添加和删除列以及对数据进行排序。这只是Pandas的一小部分功能，Pandas还可以进行数据合并、重塑、透视和聚合等操作，非常强大和灵活。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值