python编程 pandas数据处理

已于 2023-10-25 22:05:05 修改
阅读量1.1k 收藏 2
点赞数
分类专栏： python编程 文章标签： python 数据分析 pandas numpy
于 2022-12-17 14:12:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56051805/article/details/128344684
版权

目录

一：读取文件

二：查看数据

三：获取数据

四：按标签选择

五：按照位置选择

六：布尔索引

七：缺失值

一：读取文件

read_csv 加载文件

df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)

二：查看数据

查看头部数据 head

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.head())

    a   b     c  label
0  45   2   9.0      1
1  21  17   5.0      1
2  54   9  11.0      1
3  39   0   NaN      1
4   5   2  57.0      2

查看尾部数据  tail

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.tail())

    a   b     c  label
6   6   4  21.0      2
7   7  46   4.0      3
8   9  39   8.0      3
9   9  38  17.0      3
10  2   3  55.0      2

查看索引   index

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.index)

RangeIndex(start=0, stop=11, step=1)

查看列名  columns

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.columns)

Index(['a', 'b', 'c', 'label'], dtype='object')

describe() 可以快速查看数据的统计摘要 

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.describe())

               a          b          c      label
count  11.000000  11.000000  10.000000  11.000000
mean   18.181818  14.727273  25.200000   1.909091
std    18.845786  17.613012  24.003703   0.831209
min     2.000000   0.000000   4.000000   1.000000
25%     5.500000   2.000000   8.250000   1.000000
50%     9.000000   4.000000  14.000000   2.000000
75%    30.000000  27.500000  46.500000   2.500000
max    54.000000  46.000000  65.000000   3.000000

数据转置         .T

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.T)

          0     1     2     3     4     5     6     7     8     9    10
a      45.0  21.0  54.0  39.0   5.0   3.0   6.0   7.0   9.0   9.0   2.0
b       2.0  17.0   9.0   0.0   2.0   2.0   4.0  46.0  39.0  38.0   3.0
c       9.0   5.0  11.0   NaN  57.0  65.0  21.0   4.0   8.0  17.0  55.0
label   1.0   1.0   1.0   1.0   2.0   2.0   2.0   3.0   3.0   3.0   2.0

三：获取数据

选择单列，产生 Series，与 df.a 等效：  如下 df['a']

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df['a'])

0     45
1     21
2     54
3     39
4      5
5      3
6      6
7      7
8      9
9      9
10     2
Name: a, dtype: int64

用[ ]切片行             如下 df[0:3]

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df[0:3])

    a   b     c  label
0  45   2   9.0      1
1  21  17   5.0      1
2  54   9  11.0      1

四：按标签选择

用标签选择多列数据            如下 df.loc[:,['a','b']]

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.loc[:, ['a', 'b']])

     a   b
0   45   2
1   21  17
2   54   9
3   39   0
4    5   2
5    3   2
6    6   4
7    7  46
8    9  39
9    9  38
10   2   3

用标签切片，包含行与列结束点     如下  df.loc['38':'9', ['a', 'b']]

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.loc['38':'9', ['a', 'b']])

    a   b
4   5   2
5   3   2
6   6   4
7   7  46
8   9  39
9   9  38
10  2   3

五：按照位置选择

用整数位置选择        如下  df.iloc[3]

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.iloc[3])

a        39.0
b         0.0
c         NaN
label     1.0
Name: 3, dtype: float64

类似numpy/python，用整数切片         如下  df.iloc[3:5, 0:2]

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.iloc[3:5, 0:2])

    a  b
3  39  0
4   5  2

类似numpy/python，用整数列表按位置切片   如下 df.iloc[[1, 2, 4], [0, 2]]

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.iloc[[1, 2, 4], [0, 2]])

    a     c
1  21   5.0
2  54  11.0
4   5  57.0

显式整行切片       如下 df.iloc[1:3, :]

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.iloc[1:3, :])

    a   b     c  label
1  21  17   5.0      1
2  54   9  11.0      1

显示整列切片         如下 df.iloc[:, 1:3]

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.iloc[:, 1:3])

     b     c
0    2   9.0
1   17   5.0
2    9  11.0
3    0   NaN
4    2  57.0
5    2  65.0
6    4  21.0
7   46   4.0
8   39   8.0
9   38  17.0
10   3  55.0

显示提取值                             如下 df.iloc[1, 1] 

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.iloc[1, 1])

17

快速访问标量，与上述方法等效     如下 df.iat[1, 1]

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df.iat[1, 1])

17

值选择                       如下 at

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
# 值选择
print(df.at[1, 'b'])

17

六：布尔索引

用单列的值选择数据         如下 df[df.a > 0]

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df[df.a > 0])

     a   b     c  label
0   45   2   9.0      1
1   21  17   5.0      1
2   54   9  11.0      1
3   39   0   NaN      1
4    5   2  57.0      2
5    3   2  65.0      2
6    6   4  21.0      2
7    7  46   4.0      3
8    9  39   8.0      3
9    9  38  17.0      3
10   2   3  55.0      2

选择DataFrame里满足条件的值         如下 df[df > 0]

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
print(df[df > 0])

     a     b     c  label
0   45   2.0   9.0      1
1   21  17.0   5.0      1
2   54   9.0  11.0      1
3   39   NaN   NaN      1
4    5   2.0  57.0      2
5    3   2.0  65.0      2
6    6   4.0  21.0      2
7    7  46.0   4.0      3
8    9  39.0   8.0      3
9    9  38.0  17.0      3
10   2   3.0  55.0      2

七：缺失值

Pandas 主要用 np.nan 表示缺失数据。 计算时，默认不包含空值。详见缺失数据。

重建索引（reindex）可以更改、添加、删除指定轴的索引，并返回数据副本，即不更改原数据。

找到缺失值      如下 df.isnull().sum()

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
# 找到缺失值
print(df.isnull().sum())

a        0
b        0
c        1
label    0
dtype: int64

缺失值，均值填充               如下 df['c'].fillna(df.c.mean())

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
# 找到缺失值
# print(df.isnull().sum())
# 均值填充
df['c'].fillna(df.c.mean())
print(df)

     a   b     c  label
0   45   2   9.0      1
1   21  17   5.0      1
2   54   9  11.0      1
3   39   0   NaN      1
4    5   2  57.0      2
5    3   2  65.0      2
6    6   4  21.0      2
7    7  46   4.0      3
8    9  39   8.0      3
9    9  38  17.0      3
10   2   3  55.0      2

需要inplace=True，替换原来的数据    如下 df['c'].fillna(df.c.mean(), inplace=True)

import numpy as np
import pandas as pd

# 列名
columns = ['a', 'b', 'c', 'label']
# 1 加载文件
df = pd.read_csv("classify.csv", sep=',', names=columns, header=0)
# 找到缺失值
# print(df.isnull().sum())
# 均值填充
df['c'].fillna(df.c.mean(), inplace=True)
print(df)

     a   b     c  label
0   45   2   9.0      1
1   21  17   5.0      1
2   54   9  11.0      1
3   39   0  25.2      1
4    5   2  57.0      2
5    3   2  65.0      2
6    6   4  21.0      2
7    7  46   4.0      3
8    9  39   8.0      3
9    9  38  17.0      3
10   2   3  55.0      2

chenruhan_QAQ_
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python 数据处理库 pandas 入门教程基本操作
09-20
pandas是一个Python语言的软件包，在我们使用Python语言进行机器学习编程的时候，这是一个非常常用的基础编程库。本文是对Python 数据处理库 pandas 入门教程,非常不错，感兴趣的朋友一起看看吧
Python3.7Pandas离线包
07-13
在Python编程中，Pandas库是数据分析的核心工具，它提供了高效的数据结构和数据分析功能。对于那些无法在线安装或网络环境受限的用户，提供Pandas的离线包是一种非常实用的方式。Python3.7版本的Pandas离线包确保了...
Python爬虫之Pandas数据处理技术详解
aobulaien001的博客
03-12 1478
什么是Pandas库？Pandas是一个开源的数据分析工具，基于NumPy构建而成，为数据处理提供了快速、强大、灵活的数据结构和数据分析工具。它常用于数据清洗、数据处理和数据分析等领域。Pandas库的主要功能和特点Pandas提供丰富的数据操作方法和函数，如数据读取、数据写入、数据清洗、数据处理、数据分析和数据可视化等。其主要数据结构包括Series（一维数据）和DataFrame（二维数据表），使数据处理更为灵活。
Pandas(全网最详细攻略)（Python）
最新发布
时光会把你雕刻成，你应有的模样！
05-27 1273
Pandas 最初由 AQR Capital Management 于2008年4月开发，并于2009年底开源出来，当时由专注于 Python 数据包开发的 PyData 开发团队继续开发和维护，属于 PyData 项目的一部分。Pandas 最初被作为金融数据分析工具而开发出来，因此，Pandas 为时间序列分析提供了很好的支持。Pandas 的名称来自于面板数据（panel data）和 python 数据分析（data analysis）。
pandas数据处理
m0_46926492的博客
04-21 3544
数据分析中常常使用某些形式的运算来处理原始数据，如果原始数据中的空值为 NaN的形式，则不会干扰或者中断运算。【注意】在pandas中如果遇到了None形式的空值则pandas会将其强制转换成NaN形式。为什么在数据分析中需要用到的是浮点类型的空而不是对象类型?方法一：对空值进行过滤(删除空所在的行数据)方法四：使用空值对应列的均值进行空值填充。:可以直接将缺失的行或者列进行删除。方法三：对缺失值进行覆盖。None不可以参与运算。...
python的pandas数据分析处理基础学习
qq_42746084的博客
12-28 1151
一个开源的python类库：用于数据分析、数据处理、数据可视化高性能容易使用的数据结构容易使用的数据分析工具很方便和其他类库一起使用：numpy：用于数学计算scikit-learn：用于机器学习。
【Python】数据分析：如何使用 Pandas 的功能
黎明总是如期而至
06-15 3157
Pandas 是一个 Python 数据分析库，提供了强大的数据处理和分析功能，包括数据读取、清洗、转换、合并、分析、统计和可视化等。需要练习pandas相关功能。教你如何使用Pandas做数据分析。
表头让你头疼?看这几招解决Pandas读取Excel表头的问题
devid008的博客
05-19 5143
在数据分析工作中，我们经常需要读取Excel数据。但是当Excel表格中存在多级表头或合并单元格时，使用Pandas读取数据就会出现错误，无法准确识别表头。在此分享几个解决这个问题的实用方法，希望能帮助更多的小白以及技术爱好者顺利读取Excel数据。
pandas笔记
qq_42962326的博客
03-18 3999
import pandas as pd data = pd.read_csv("Narrativedata.csv") 显示数据框信息 data.info() 2. 填充缺失值 fillna data["Age"] = data["Age"].fillna(data["Age"].mean()) 3.删除缺失值 data = data.dropna() 4 某一列去重 labels = data["Embarked"].unique().tolist() 5. 对某一列执行 la
用Python中的Pandas处理数据
06-20
内容介绍 1.大量练习Series数据结构的基础操作。 2.大量练习DataFrame数据结构的基础操作。...这些都是能学习Pandas数据处理的重要基础。 第4章 如果快速实现对数据的各分析操作，快速得到想要的报表。  
python数据处理数据集
04-14
Python是一种广泛应用于数据分析和处理的编程语言，尤其在数据科学领域，它的易读性、丰富的库支持以及强大的数据处理能力使其成为了首选工具。本数据集是关于Python在数据处理方面的应用，通过一系列的示例和文件，...
python+Pyqt5+pandas+plt实现数据处理程序（桌面级应用）
01-29
功能很全，可以对数据进行全方面的分析处理，界面简单友好
如何使用Pandas处理大批量数据
03-05
Why and How to Use Pandas with Large Data ，如何使用Pandas处理大批量数据，介绍了如何减少内存消耗，学习利用pandas进行大批量数据处理不错的参考资料。
Python 数据处理库 pandas进阶教程
12-23
同样的，本文的测试数据和源码可以在这里获取： Github：pandas_tutorial 。 数据访问 在入门教程中，我们已经使用过访问数据的方法。这里我们再集中看一下。 注：这里的数据访问方法既适用于Series，也适用于...
Python 教学 | 数据处理必备工具之 Pandas（数据的读取与导出）
weixin_55633225的博客
05-16 1291
本期文章我们将学习使用 Pandas 实现数据的读取和导出，并介绍几个 DataFrame 的常用属性来查看数据的基本信息。
pandas 读取所有表头_Pandas之EXCEL数据读取/保存/文件分割/文件合并
weixin_39824191的博客
11-20 1220
excel的写入函数为pd.DataFrame.to_excel()；必须是DataFrame写入excel, 即Write DataFrame to an excel sheet。pd.to_excel(self, excel_writer, sheet_name='Sheet1', na_rep='', float_format=None,columns=None, header=True...
Python学习之：pandas 索引 loc，iloc ；数据过滤和筛选
qq_42902997的博客
02-23 2841
import pandas as pd columns = ['name','age','sex'] data = [['wang',15,'male'], ['li',20,'female']] df = pd.DataFrame(data=data,columns=columns) df name age sex 0 wang 15
pandas读取表格时header和index_col的设置讲解
weixin_44863500的博客
04-24 824
本篇参考了下面两个博客他们讲的都很好，我自己也尝试了一些案例，于是做个汇总对于csv文件等，在读取的时候，需要给列和行进行命名，这样可以方便后续处理。如果你的csv文件（这点很重要，下面会有详细讲解），设置headerNone0，1，2，3index_colNone代码如下。
python之pandas库基本使用方法
云霄IT的博客
01-28 1705
一、读取文件 import pandas as pd df = pd.read_excel(flie_path, header=2) # header默认为0，为2则将第三行作为标题,flie_path文件路径 # pd.read_csv() 读取csv文件
python pandas数据添加excel
04-30
Python是一种广泛应用于数据处理和数据分析方面的编程语言。而Pandas则是Python的一个非常受欢迎的数据处理库。Pandas拥有许多强大的函数和方法可以进行各种操作，如数据过滤、数据排序、数据统计等。 在使用Pandas进行数据处理时，如何将处理好的数据添加到Excel文件中呢？可以通过以下步骤实现。 首先，导入Pandas库： import pandas as pd 然后读取Excel文件中的数据，可以使用Pandas的read_excel()函数读取Excel文件中的数据： data = pd.read_excel('filename.xlsx') 接下来，对数据进行处理，并将处理后的数据存储为Pandas的DataFrame对象： df = pd.DataFrame(data) 最后，将DataFrame对象写入Excel文件中，可以使用Pandas的to_excel()函数： df.to_excel('new_filename.xlsx', index=False) to_excel()函数可以将DataFrame对象写入Excel文件中。参数index=False可以去除写入的Excel文件中的索引列。 通过以上步骤，就可以将Pandas数据添加到Excel文件中。这对于需要将Python程序处理的数据保存到Excel文件中，以供其他使用者查看和分析，具有较高的实用价值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

chenruhan_QAQ_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值