Python：Pandas的使用

最新推荐文章于 2024-08-23 09:48:05 发布
最新推荐文章于 2024-08-23 09:48:05 发布
阅读量221 收藏
点赞数
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44330955/article/details/107800825
版权

1. Pandas介绍

什么是Pandas

  • 数据处理工具
  • 专门用于数据挖掘的开源python库
  • 以Numpy为基础，借力Numpy模块在计算方面性能高的优势
  • 基于matplotlib，能够简便的画图
  • 独特的数据结构

为什么使用Pandas

  • 便捷的数据处理能力
  • 读取文件方便
  • 封装了Matplotlib、Numpy的画图和计算

Pandas的三大核心数据结构

  • DataFrame： 带行列索引的二维数组
  • Panel： 存储三维数据的结构
  • Series： 带索引的一维数组

DataFrame的介绍

结构：DataFrame可以看作既有行索引，又有列索引的二维数组。

属性：shape（形状）、index（行索引）、columns（列索引）、values（原始数据）、T（转置）

方法：head（）默认显式前几行的数据及索引、tail（）默认显式后几行的数据及索引

注意：DataFrame修改索引时只能整体修改，不能单个修改；而且传递DataFrame参数时可以传递字典，则自动生成有索引的数据

import numpy as np
import pandas as pd

# 创建一个符合标准正态分布的10个股票5天的涨跌幅数据
data = np.random.normal(0, 1, (10,5))
# 对data进行添加默认索引
data1 = pd.DataFrame(data)
# 添加行索引
data_index = ["股票{}".format(i + 1) for i in range(10)]
# 添加列索引
data_columns = ["第{}天".format(i + 1) for i in range(5)]
# 对原始数据进行修改
data2 = pd.DataFrame(data, data_index, data_columns)

# 属性shape
print('shape:' + str(data2.shape))
# 属性index
print('index:' + str(data2.index))
# 属性columns
print('columns:' + str(data2.columns))
# 属性values
print('values:' + str(data2.values))
# 转置T
print('T:' + str(data2.T))

# 方法head()，默认输出前5行，也可以在()中填写数字指定行数
print(data2.head())
# 方法tail()，默认输出后5行，也可以在()中填写数字指定行数
print(data2.tail())

shape:(10, 5)
index:Index(['股票1', '股票2', '股票3', '股票4', '股票5', '股票6', '股票7', '股票8', '股票9', '股票10'], dtype='object')
columns:Index(['第1天', '第2天', '第3天', '第4天', '第5天'], dtype='object')
values:[[ 0.36833502 -0.10985847  0.01758469  2.8953737  -0.8990899 ]
 [ 0.82203116  0.73794113 -0.18325558 -1.03071591  0.80655588]
 [-0.55074501  0.62553913  0.5536485   1.26707348 -1.7806026 ]
 [ 0.85206036 -0.2663546  -0.09123825 -0.42519567  0.40458683]
 [ 0.44465066  1.13645238  2.95282522 -0.27825732 -0.97490694]
 [ 0.98894857 -0.09091942  1.98937608  1.4541496   0.81665986]
 [ 1.80891512  1.17705914  1.40490257 -0.25588641 -0.64963894]
 [-1.29888722  0.53645297  1.3262874   1.66382867 -0.17785908]
 [ 0.69582494 -0.60796553 -0.17765606  0.57865517  1.39733349]
 [-0.60679997  1.07496135  0.30156879 -0.47350182  1.14001339]]
T:          股票1       股票2       股票3  ...       股票8       股票9      股票10
第1天  0.368335  0.822031 -0.550745  ... -1.298887  0.695825 -0.606800
第2天 -0.109858  0.737941  0.625539  ...  0.536453 -0.607966  1.074961
第3天  0.017585 -0.183256  0.553649  ...  1.326287 -0.177656  0.301569
第4天  2.895374 -1.030716  1.267073  ...  1.663829  0.578655 -0.473502
第5天 -0.899090  0.806556 -1.780603  ... -0.177859  1.397333  1.140013

[5 rows x 10 columns]
          第1天       第2天       第3天       第4天       第5天
股票1  0.368335 -0.109858  0.017585  2.895374 -0.899090
股票2  0.822031  0.737941 -0.183256 -1.030716  0.806556
股票3 -0.550745  0.625539  0.553649  1.267073 -1.780603
股票4  0.852060 -0.266355 -0.091238 -0.425196  0.404587
股票5  0.444651  1.136452  2.952825 -0.278257 -0.974907
           第1天       第2天       第3天       第4天       第5天
股票6   0.988949 -0.090919  1.989376  1.454150  0.816660
股票7   1.808915  1.177059  1.404903 -0.255886 -0.649639
股票8  -1.298887  0.536453  1.326287  1.663829 -0.177859
股票9   0.695825 -0.607966 -0.177656  0.578655  1.397333
股票10 -0.606800  1.074961  0.301569 -0.473502  1.140013

Series的介绍

  • 用列表创建Series
  • 用字典创建Series
  • 属性index
  • 属性values
import numpy as np
import pandas as pd

# 创建一个Series的数据
data = pd.Series(np.arange(3,9,2),index=["a","b","c"])
print(data)

# 用字典创建Series
data1 = pd.Series({'red':100,'blue':200,'green':500,'yellow':1000})
print(data1)

# Series属性index
print('index:' + str(data.index))
# Series属性values
print('values:' + str(data.values))

a    3
b    5
c    7
dtype: int32
red        100
blue       200
green      500
yellow    1000
dtype: int64
index:Index(['a', 'b', 'c'], dtype='object')
values:[3 5 7]

2. 基本数据操作

2.1 索引操作

有四种索引方法：

  • 直接索引
  • 按名字索引
  • 按数字索引
  • 组合索引：将数字和名字进行组合索引，使用.ix，这里不进行演示

下面来具体看看：

import numpy as np
import pandas as pd

# 创建原始股票数据
data = np.random.normal(0, 1, (10,5))
# 添加行索引
data_index = ["股票{}".format(i + 1) for i in range(10)]
# 添加列索引
data_columns = ["第{}天".format(i + 1) for i in range(5)]
# 对原始数据进行修改
data2 = pd.DataFrame(data, data_index, data_columns)

# 直接索引:必须使用先列后行，使用索引值进行索引
print('直接索引：' + str(data2['第2天']['股票2']))
# 按名字索引：可以使用先行后列，但需使用函数loc
print('名字索引：' + str(data2.loc['股票2']['第2天']))
# 按数字索引:可以使用数字进行索引，但需使用函数iloc
print('数字索引：' + str(data2.iloc[1][1]))

直接索引：0.23412717542123185
名字索引：0.23412717542123185
数字索引：0.23412717542123185

2.2 赋值操作

可以将整行或整列进行赋值操作，也可以单独的数据进行修改。

下面来具体看看

import numpy as np
import pandas as pd

# 创建原始股票数据
data = np.random.normal(0, 1, (10,5))
# 添加行索引
data_index = ["股票{}".format(i + 1) for i in range(10)]
# 添加列索引
data_columns = ["第{}天".format(i + 1) for i in range(5)]
# 对原始数据进行修改
data2 = pd.DataFrame(data, data_index, data_columns)

# 对单个数据进行修改
data2.iloc[1][1]= 100
print('对单个数据进行修改:' + str(data2.iloc[1][1]))

# 对整行数据进行修改
data2['第2天'] = 100
print('对整行数据进行修改:' + str(data2))

对单个数据进行修改:100.0
对单个数据进行修改:           第1天  第2天       第3天       第4天       第5天
股票1   0.740752  100 -1.095628  1.826934  1.102712
股票2   0.653884  100  0.569641  1.879457 -1.125036
股票3  -0.758834  100 -0.431924  1.117955 -0.737071
股票4   1.822570  100  0.322414 -0.660553  0.067220
股票5   0.223287  100 -0.469243  0.261170 -0.100051
股票6   0.289240  100  2.060748  1.292384 -0.120213
股票7  -0.122596  100  0.201011 -0.624944  1.845011
股票8  -1.295979  100  0.909599 -0.374124 -0.379970
股票9   0.847421  100  0.139327  0.798434 -1.631011
股票10 -0.011450  100 -1.293688 -0.979475 -0.114795

2.3 排序操作

排序有两种：按数据进行排序和按照索引进行排序。

下面来具体看看。

import numpy as np
import pandas as pd

# 创建原始股票数据
data = np.random.normal(0, 1, (10,5))
# 添加行索引
data_index = ["股票{}".format(i + 1) for i in range(10)]
# 添加列索引
data_columns = ["第{}天".format(i + 1) for i in range(5)]
# 对原始数据进行修改
data2 = pd.DataFrame(data, data_index, data_columns)

# 按照数据排序
# by代表按照那一列进行排序，可以多列排序
# ascending = False代表从大到小，True代表从小到大
data3 = data2.sort_values(by = ['第1天'], ascending = False)
print('按照数据排序:' + '\n' + str(data3))

按照数据排序:
           第1天       第2天       第3天       第4天       第5天
股票3   0.875219 -0.248079  0.718127  1.161606 -0.612040
股票8   0.765177 -1.491168 -0.111170 -0.214186  0.561835
股票7   0.563078 -1.424150  1.437518 -0.663060 -0.701299
股票6   0.538858 -1.519885 -0.143532 -1.078606  0.545076
股票4   0.527372 -0.880388 -0.630165 -1.243945  2.359285
股票5   0.331653 -1.032393  0.462573 -0.464426 -0.999261
股票9   0.220232  0.682369 -1.048880  0.394690 -1.253890
股票10 -0.092479 -0.187950 -2.105753  0.272641  1.354318
股票1  -0.553340  0.306372  0.646005  0.971399  1.462445
股票2  -0.629727  0.071026 -0.042803 -0.768057 -0.581646

Pandas的许多操作没有进行介绍，可以通过实战来熟练掌握其他操作。

尔玉先生
关注
专栏目录
Python之Pandas
陌小柠的博客
04-02 8682
Python之pandas 环境：jupyter Notebook(Anaconda) 1.引入pandas库和numpy库 import pandas as pd import numpy as np 2. 读取文件 t1=pd.read_excel('D:\scores.xlsx',header=[0,1],index_col=0) #读取文件 t1 #index_col 接收int、sequence或者False。表示设定的列作为行名，如果是一个数列，则是多重索引，默认为None 3. i
python之pandas简单介绍及使用（一）
weixin_30888413的博客
11-27 1万+
一、　　Pandas简介 1、Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一...
深入理解Python数据分析利器——Pandas库详解（一）
最新发布
小高~的博客
08-23 2027
Pandas是Python中专为数据操作和分析设计的开源库，提供了高性能的数据结构和丰富的数据操作工具。Pandas的主要目标是成为数据分析领域的高级工具，解决多种数据格式的处理需求。无论是表格数据（如SQL表或Excel表），还是多维数组、时间序列数据，Pandas都能轻松应对。Series：一维数组，包含数据和对应的索引。DataFrame：二维表格数据结构，既有行索引也有列索引，类似于电子表格或SQL表格。接下来，我们将通过具体代码示例详细介绍如何使用这两个数据结构以及Pandas的常见功能。
python 中的pandas。
笑洁
08-22 285
pandas：pandas包含高级的数据结构和精巧的工具，使得python在处理数据非常快速和简单DataFrame: 一个Datarame表示一个表格，类似电子表格的数据结构，包含一个经过排序的列表集，它们没一个都可以有不同的类型值（数字，字符串，布尔等等）。Datarame有行和列的索引；它可以被看作是一个Series的字典（每个Series共享一个索引）。与其它你以前使用过的（如 R 的
python pandas
舌耳的博客
05-27 536
pandas 是一个处理数据的模块,许多函数基于numpy pandas的两种数据结构 序列Series 类似于一维数组 数据框DataFram 类似于多维数组 pandas的数据类型 object -for string vlaues datetime -for time values int -for integer values ...
Python 中的 Pandas(数据分析与处理)
m0_74995879的博客
06-12 2307
Pandas 是 Python 中最受欢迎的数据处理库之一，其名字源自于“Panel Data”（面板数据）的缩写。它提供了三种主要的数据结构：Series ， DataFrame ， Panel（在新版本已经被弃用） 使用列表或数组创建Series：可以通过传递Python列表或NumPy数组来创建Series 使用字典创建Series：字典的键将成为Series的索引 2，索引 3，基本属性 values 返回Series的数据部分（一个NumPy数组）
Python：Pandas 数据集
05-06
在Python的世界里，Pandas库是数据分析领域的重要工具，它为处理和分析结构化数据提供了强大的功能。Pandas数据集通常包含多个数据文件，比如CSV、Excel或JSON格式，用于学习和实践数据处理技巧。本篇文章将深入探讨...
python:pandas合并csv文件的方法(图书数据集成)
12-25
pandas读取csv文件，并进行csv文件合并处理： # -*- coding:utf-8 -*- import csv as csv import numpy as np # ------------- # csv读取表格数据 # ------------- ''' csv_file_object = csv.reader(c
python基础教程：pandas DataFrame 行列索引及值的获取的方法
12-22
pandas DataFrame是二维的,所以,它既有列索引,又有行...如果要自己指定行索引和列索引,可以使用 index 和 column 参数: 这个数据是5个车站10天内的客流数据: ridership_df = pd.DataFrame( data=[[ 0, 0, 2, 5, 0],
Python：使用pandas对excel数据筛选选择
07-17
使用pandas对excel数据筛选选择素材资源
ImportError:Pandas requires version ‘2.0.1‘ or newer ‘xlrd‘ version ‘1.0.0‘ currently installed解决方案
weixin_43178406的博客
05-11 2万+
本文主要介绍了ImportError: Pandas requires version ‘2.0.1’ or newer of ‘xlrd’ (version ‘1.0.0’ currently installed).解决方案，希望能对使用pandas的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
python中使用pandas
10-23
接下来pandas介绍中将学习到如下8块内容： 1、数据结构简介：DataFrame和Series 2、数据索引index 3、利用pandas查询数据 4、利用pandas的DataFrames进行统计分析 5、利用pandas实现SQL操作 6、利用pandas进行缺失值的处理 7、利用pandas实现Excel的数据透视表功能 8、多层索引的使用
Python基础----Pandas
Hayden的博客
04-07 1974
想熟悉和使用一种数据结构，得从3个方面进行学习： 创建，一般有多种创建形式 变形，此时不涉及各种计算函数，主要对数据结构进行切片，筛选和变形等操作 计算，进行分析处理的主要部分 Pandas处理以下三个数据结构： 系列(Series) 数据帧(DataFrame) 面板(Panel) 数据帧(DataFrame)是一个具有异构数据的二维数组，数据分析中使用最多的是DataFrame，主要...
Python学习之Pandas介绍
weixin_58512942的博客
07-05 2832
pandas安装和介绍
Python数据分析之Pandas入门(附课程笔记）
weixin_65025184的博客
06-09 233
讲讲Pandas，由于Pandas的内容也比较多，本文主要还是讲解一些入门的基本知识。本文主要是介绍了pandas的一些入门知识，都是对pandas数据结构的一些操作，后面讲解了使用pandas文件中数据的一些操作（基本上能满足我们的日常工作，如需读取其他文件格式，可以自行google），本文是pandas的一个基础入门总结，后续会整理Pandas的一些进阶的知识。
Python数据分析之pandas学习
weixin_68789096的博客
06-20 517
在pandas中有两类非常重要的数据结构，即序列Series和数据框DataFrame。Series类似于numpy中的一维数组，除了通吃一维数组可用的函数或方法，而且其可通过索引标签的方式获取数据，还具有索引的自动对齐功能；DataFrame类似于numpy中的二维数组，同样可以通用numpy数组的函数和方法，而且还具有其他灵活应用，后续会介绍到。
Python之Pandas详解
twg666的博客
06-10 4378
Pandas是Python语言的一个扩展程序库，用于数据分析。Pandas是一个开放源码、BSD许可的库，提供高性能、易于使用的数据结构和数据分析工具。
Python数据分析基础技术之pandas（史上最全面）
热门推荐
薛定谔的猫-前端领域
04-29 7万+
pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。简单地说，你可以把 Pandas 看作是 Python 版的 Excel。 ...
精通Python数据分析：Pandas实战指南
5. **数据聚合与分组**：使用groupby函数进行数据分组，执行聚合操作，如求和、平均值、计数等。 6. **时间序列分析**：Pandas对时间序列数据有很好的支持，包括日期和时间的操作、频率转换、窗口函数等。 7. **数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值