pandas系列学习（一）：pandas入门

最新推荐文章于 2024-08-23 09:48:05 发布
最新推荐文章于 2024-08-23 09:48:05 发布
阅读量3.8k 收藏 53
点赞数 6
分类专栏： python 文章标签： pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CoderPai/article/details/83145971
版权

作者：chen_h
微信号 & QQ：862251340
微信公众号：coderpai

介绍

pandas 是一套用于 Python 的快速，高效的数据分析工具。近年来它的受欢迎程度飙升，与数据科学和机器学习等领域的兴起同步。

在这里插入图片描述

正如 Numpy 提供了基础的数据类型，pandas 也提供了核心数组操作，它定义了处理数据的基本结构，并且赋予了它们促进操作的方法，例如：

  • 读取数据
  • 调整索引
  • 使用日期和时间序列
  • 排序，分组，重新排序和一般数据调整
  • 处理缺失值等等

跟复杂的统计和分析功能留给其他软件包，例如 statsmodels 和 scikit-learn，它们构建在 pandas 之上。接下来，开始我们的学习，首先我们来导入我们需要的数据包：

import pandas as pd
import numpy as np

Series

由 pandas 定义的两种重复数据类型是 Series 和 DataFrame，你可以将 Series 看做是一个 column，例如对单个变量的观察集合。DataFrame 是多个数据相关的 Series 的集合。

接下来，让我们从 Series 开始学习。

s = pd.Series(np.random.randn(4), name = "daily returns")
s

0    1.528827
1   -0.836487
2   -1.932910
3   -1.006040
Name: daily returns, dtype: float64

在这里，你可以将索引 0，1，2，3 想象成四家上市公司的索引，其对应的值是其股票的每日回报。pandas Series 是基于 numpy 阵列构建，支持许多相似的操作。

s * 100

0    152.882717
1    -83.648681
2   -193.290987
3   -100.603970
Name: daily returns, dtype: float64

np.abs(s)

0    1.528827
1    0.836487
2    1.932910
3    1.006040
Name: daily returns, dtype: float64

但是 Series 提供的不仅仅是 Numpy 数组，他们还有一些额外的方法（偏向于统计）。

s.describe()

count    4.000000
mean    -0.561652
std      1.474615
min     -1.932910
25%     -1.237757
50%     -0.921263
75%     -0.245158
max      1.528827
Name: daily returns, dtype: float64

我们还可以自定义索引的值，比如：

s.index = ['AMZN', 'AAPL', 'MSFT', 'GOOG']
s

AMZN    1.528827
AAPL   -0.836487
MSFT   -1.932910
GOOG   -1.006040
Name: daily returns, dtype: float64

通过这种方式查看，Series 就像快速，高效的 Python 词典。实际上，你可以使用与 Python 字典大致相同的语法来操作。

s['AMZN']

1.528827

s['AMZN'] = 0
s

AMZN    0.000000
AAPL   -0.836487
MSFT   -1.932910
GOOG   -1.006040
Name: daily returns, dtype: float64

'AAPL' in s

True

DataFrames

虽然 Series 非常有效，但是它是单列数据，有时候我们想处理多列数据怎么办呢？DataFrame 帮我们解决了这个问题，它是多列数据，每一列代表一个变量。实质上，pandas 中的 DataFrame 类似于（高度优化的）Excel 电子表格。因此，它是一种强大的工具，用于表示和分析自然组织成行和列的数据，通常具有针对各行和各列的描述性索引。我们来举个例子，比如我这边有一个 csv 文件，你可以点击这里下载。数据展示如下：

"country","country isocode","year","POP","XRAT","tcgdp","cc","cg"
"Argentina","ARG","2000","37335.653","0.9995","295072.21869","75.716805379","5.5788042896"
"Australia","AUS","2000","19053.186","1.72483","541804.6521","67.759025993","6.7200975332"
"India","IND","2000","1006300.297","44.9416","1728144.3748","64.575551328","14.072205773"
"Israel","ISR","2000","6114.57","4.07733","129253.89423","64.436450847","10.266688415"
"Malawi","MWI","2000","11801.505","59.543808333","5026.2217836","74.707624181","11.658954494"
"South Africa","ZAF","2000","45064.098","6.93983","227242.36949","72.718710427","5.7265463933"
"United States","USA","2000","282171.957","1","9898700","72.347054303","6.0324539789"
"Uruguay","URY","2000","3219.793","12.099591667","25255.961693","78.978740282","5.108067988"

假设你将此数据保存为当前工作目录中的 test_pwt.csv（在 Jupyter 中键入 %pwd 可以查看它是什么），我们可以按照如下形式进行读入数据：

df = pd.read_csv('https://github.com/QuantEcon/QuantEcon.lectures.code/raw/master/pandas/data/test_pwt.csv')
type(df)

pandas.core.frame.DataFrame

df
countrycountry isocodeyearPOPXRATtcgdpcccg
0ArgentinaARG200037335.6530.9995002.950722e+0575.7168055.578804
1AustraliaAUS200019053.1861.7248305.418047e+0567.7590266.720098
2IndiaIND20001006300.29744.9416001.728144e+0664.57555114.072206
3IsraelISR20006114.5704.0773301.292539e+0564.43645110.266688
4MalawiMWI200011801.50559.5438085.026222e+0374.70762411.658954
5South AfricaZAF200045064.0986.9398302.272424e+0572.7187105.726546
6United StatesUSA2000282171.9571.0000009.898700e+0672.3470546.032454
7UruguayURY20003219.79312.0995922.525596e+0478.9787405.108068

我们可以使用标准的 Python 数据切片表示法选择特定的行:

df[2:5]
countrycountry isocodeyearPOPXRATtcgdpcccg
2IndiaIND20001006300.29744.9416001.728144e+0664.57555114.072206
3IsraelISR20006114.5704.0773301.292539e+0564.43645110.266688
4MalawiMWI200011801.50559.5438085.026222e+0374.70762411.658954

要选择列，我们可以传递一个列表，其中包含表示为字符串的所需列的名称：

df[['country', 'tcgdp']]
countrytcgdp
0Argentina2.950722e+05
1Australia5.418047e+05
2India1.728144e+06
3Israel1.292539e+05
4Malawi5.026222e+03
5South Africa2.272424e+05
6United States9.898700e+06
7Uruguay2.525596e+04

要使用整数选择行和列，我们可以使用 iloc 属性，格式为 .iloc[rows, columns]

df.iloc[2:5,0:4]
countrycountry isocodeyearPOP
2IndiaIND20001006300.297
3IsraelISR20006114.570
4MalawiMWI200011801.505

要使用整数和标签的混合来选择行和列，我们可以以类似的方法使用 loc 属性。

df.loc[df.index[2:5], ['country', 'tcgdp']]
countrytcgdp
2India1.728144e+06
3Israel1.292539e+05
4Malawi5.026222e+03

让我们想象一下，我们只关注人口和GDP（tcgdp），将数据帧 df 剥离到仅这些变量的一种方法是使用上述选择方法覆盖数据帧。

df = df[['country','POP','tcgdp']]
df
countryPOPtcgdp
0Argentina37335.6532.950722e+05
1Australia19053.1865.418047e+05
2India1006300.2971.728144e+06
3Israel6114.5701.292539e+05
4Malawi11801.5055.026222e+03
5South Africa45064.0982.272424e+05
6United States282171.9579.898700e+06
7Uruguay3219.7932.525596e+04

这里索引 0，1，…，7 是多余的，因为我们可以使用国家名称作为索引。为此，我们将索引设置为数据框中的国家/地区变量

df = df.set_index('country')
df
POPtcgdp
country
Argentina37335.6532.950722e+05
Australia19053.1865.418047e+05
India1006300.2971.728144e+06
Israel6114.5701.292539e+05
Malawi11801.5055.026222e+03
South Africa45064.0982.272424e+05
United States282171.9579.898700e+06
Uruguay3219.7932.525596e+04

让我们给列取一个稍微好一点的名字

df.columns = 'population', 'total GDP'
df
populationtotal GDP
country
Argentina37335.6532.950722e+05
Australia19053.1865.418047e+05
India1006300.2971.728144e+06
Israel6114.5701.292539e+05
Malawi11801.5055.026222e+03
South Africa45064.0982.272424e+05
United States282171.9579.898700e+06
Uruguay3219.7932.525596e+04

表中人口数以千计算，让我们来恢复一下，按照个计算：

df['population'] = df['population'] * 1e3
df
populationtotal GDP
country
Argentina3.733565e+072.950722e+05
Australia1.905319e+075.418047e+05
India1.006300e+091.728144e+06
Israel6.114570e+061.292539e+05
Malawi1.180150e+075.026222e+03
South Africa4.506410e+072.272424e+05
United States2.821720e+089.898700e+06
Uruguay3.219793e+062.525596e+04

接下来我们将添加一个现实人均实际 GDP 的列，随着时间的推移乘以 1000000，因为总 GDP 为数百万

df['GDP percap'] = df['total GDP'] * 1e6 / df['population']
df
populationtotal GDPGDP percap
country
Argentina3.733565e+072.950722e+057903.229085
Australia1.905319e+075.418047e+0528436.433261
India1.006300e+091.728144e+061717.324719
Israel6.114570e+061.292539e+0521138.672749
Malawi1.180150e+075.026222e+03425.896679
South Africa4.506410e+072.272424e+055042.647686
United States2.821720e+089.898700e+0635080.381854
Uruguay3.219793e+062.525596e+047843.970620

关于 pandas DataFrame 和 Series 对象的一个好处是它们具有通过 Matplotlib 工作的绘图和可视化方法。例如，我们可以轻松生成人均 GDP 的条形图。

import matplotlib.pyplot as plt

df['GDP percap'].plot(kind='bar')
plt.show()

在这里插入图片描述

目前，数据框按照国家/地区的字母顺序排序——让我们将其改为人均 GDP。

df = df.sort_values(by='GDP percap', ascending=False)
df
populationtotal GDPGDP percap
country
United States2.821720e+089.898700e+0635080.381854
Australia1.905319e+075.418047e+0528436.433261
Israel6.114570e+061.292539e+0521138.672749
Argentina3.733565e+072.950722e+057903.229085
Uruguay3.219793e+062.525596e+047843.970620
South Africa4.506410e+072.272424e+055042.647686
India1.006300e+091.728144e+061717.324719
Malawi1.180150e+075.026222e+03425.896679

我们继续来画图:

df['GDP percap'].plot(kind='bar')
plt.show()

在这里插入图片描述

coderpai
关注
专栏目录
pandas入门
qq_36729847的博客
03-20 2569
pandas——进行数据清洗和分析(适合处理表格或异质型数据) numpy——数值计算工具(适合处理同质型的数值类数组数据) matplotlib——数据可视化工具 1.导入pandas import pandas as pd 2.pandas两个常用的工具数据结构——Series和DataFrame 2.1. Series Series：一种一维的数组型对象，它包含了一个值序列，并包含了数据标签，称为索引(index)。 pandas的基本操作
Pandas（Python库）：Pandas基础入门
kkchenjj的博客
07-18 728
Series是Pandas库中的一个基本数据结构，它类似于一维数组，可以存储任何数据类型（整数、字符串、浮点数、Python对象等）。Series由一组数据（数组）和与之相关的索引两部分构成。索引可以是任何数据类型，包括整数、字符串、日期等，这使得Series在处理数据时非常灵活。DataFrame是Pandas库中的另一个核心数据结构，它是一个表格型的数据结构，可以看作是由多个Series组成的二维数组。DataFrame可以存储不同类型的列，每一列可以有不同的数据类型。
Pandas从入门到精通
Father_Of_Soft的博客
06-04 2586
Pandas快速入门，通过本篇博文，你可以学会数据清洗、数据分析和简易绘图~
深入理解Python数据分析利器——Pandas库详解（一）
最新发布
小高~的博客
08-23 4512
Pandas是Python中专为数据操作和分析设计的开源库，提供了高性能的数据结构和丰富的数据操作工具。Pandas的主要目标是成为数据分析领域的高级工具，解决多种数据格式的处理需求。无论是表格数据（如SQL表或Excel表），还是多维数组、时间序列数据，Pandas都能轻松应对。Series：一维数组，包含数据和对应的索引。DataFrame：二维表格数据结构，既有行索引也有列索引，类似于电子表格或SQL表格。接下来，我们将通过具体代码示例详细介绍如何使用这两个数据结构以及Pandas的常见功能。
Pandas 学习
ZgaoYi的博客
08-10 720
Pandas 学习
pandas基础学习
qq_50086023的博客
11-13 6682
pandas是python中专门专门用于数据处理和数据分析的第三方库
Pandas入门知识学习
weixin_45588852的博客
03-16 2056
目录Pandas基础知识学习一、数据处理对象Pandas中的数据结构SeriesDataFrame二、读取CSV格式数据读取CSV查看前n行查看后n行修改列名三、排序操作对索引进行排序按行排序按值排序四、删除操作五、基本的算术运算算术运算（+，-，*，/）六、去重操作duplicated()drop_duplicates()七、层次化索引层次化索引索引方式内层选取数据重塑 Pandas基础知识学习 Pandas比较适合处理结构化的数据，如序列数据，表格数据等，例如csv文件，利用pandas可以快速的对数据
Pandas学习
absent1353的博客
04-17 226
Pandas 是基于Numpy的一个非常好用的库Series:1.Series类似于Python中的list，带有indeximport pandas as pd A=pd.Series([1,3,5,60]) print(A)输出为：011325360dtype: int642.采用命令A.index()和A.values来查看index与value的值RangeIndex(start=0, s...
Pandas数据可视化: DataFrame Plotting【Pandas入门教程7】
08-31
Pandas数据可视化__DataFrame_Plotting【Pandas入门教程7】
政安晨：机器学习快速入门（一）{基于Python与Pandas}的示例数据包
02-05
在"政安晨：机器学习快速入门（一）{基于Python与Pandas}"的文章中，作者可能使用了名为`melb_data.csv`的数据集。这是一个CSV文件，常用于存储表格数据，其结构类似于Excel电子表格。CSV文件可以轻松导入到Pandas的...
Pandas Shift函数的基础入门学习笔记
01-20
在使用Pandas的过程中，有时会遇到shift函数，今天就一起来彻底学习下。先来看看帮助文档是怎么说的： >>> import pandas >>> help(pandas.DataFrame.shift) Help on function shift in module pandas.core.frame: ...
Python Pandas模块入门教程：Series与DataFrame解析
学习pandas模块对于Python数据科学工作者来说是基础且关键的，它提供了高效的数据操作接口，极大地提高了数据分析的效率。通过深入理解和熟练运用Series和DataFrame，可以轻松地处理和分析各种类型和规模的数据集。
pandas教程(快速入门，纯干货无废话)
qq_64997449的博客
01-17 2671
本文不会详细介绍pandas各种优势、特点、用途这些无关紧要的东西，主要围绕Series和DataFrame这两种数据结构的用法来进行讲解，旨在帮助读者花最少的时间了解pandas该怎么用，适合了解但不熟练的同学用来加强巩固和复习。Pandas Series入门教程下面开始正文部分。
Pandas的学习之路（一）
qq_40621476的博客
09-29 214
写博客的源动力是吐槽（bushi），开始自己给自己挖坑了，强迫自己学习，主要也是还债···，我总觉得看完就过了，但这玩意儿吧跟数学题一样的，不做题你就体会不到精髓。脑子：我会了！手：？？？什么来着？真实·菜得抠jio，不说了进入正题。 首先，简单介绍下pandas，pandas是一个基于numpy的一种工具,主要用于数据分析，是非常好用的一个工具，可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。pandas的数据格式主要有两种，分别为一维数组Series和二维.
Pandas系列学习教程
lzylzy66的博客
03-10 588
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了Pandas学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
Python数据分析之pandas学习
weixin_34217711的博客
11-13 886
Python中的pandas模块进行数据分析。 接下来pandas介绍中将学习到如下8块内容：1、数据结构简介：DataFrame和Series2、数据索引index3、利用pandas查询数据4、利用pandas的DataFrames进行统计分析5、利用pandas实现SQL操作6、利用pandas进行缺失值的处理7、利用pandas实现Excel的数据透视表功能8、多层索引的使用 一、数据结构...
pandas学习（一）
/dev/null
05-26 501
pandas.DataFrame.sort_index 用法sort_index(axis=0, level=None, ascending=True, inplace=False, kind='quicksort', na_position='last', sort_remaining=True, by=None)说明： 1 axis = 0，按index排序：axis = 1，按columns
Python pandas库基础教程：数据处理入门
"Python数据处理库pandas入门教程" 在Python数据科学领域，pandas库扮演着至关重要的角色，它是高效地处理和分析数据的核心工具。pandas提供了强大的数据结构，如Series和DataFrame，使得数据清洗、转换和分析变得...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值