【pandas】技巧用法汇总（数据的创建、保存、增加、删除、查找、修改）

最新推荐文章于 2024-05-13 05:21:52 发布
最新推荐文章于 2024-05-13 05:21:52 发布
阅读量7.1k 收藏 24
点赞数 6
分类专栏： python 数据处理 工具资料 文章标签： python pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miracleoa/article/details/120036069
版权

文章目录

  • 写在前头：本篇博客写作的目的是为了记录我学习过程中遇到的所有的关于pandas的使用方法，bug等，将本博客作一个pandas万金油博客，希冀遇到所有的问题，查这一篇博客就足够了（从目录入手，查看自己需要查阅到部分）。首先本文对pandas.DataFrame的所有增删查改操作进行了介绍。然后接下来会记录各种各样的pandas高级操作，工作中遇到的问题和解决办法。

Pandas模块的数据结构主要有两种：

  • 1.DataFrame
  • 2.Series

零、pandas print() 完整打印输出方法

import pandas as pd
#显示所有列
pd.set_option('display.max_columns', None)
#显示所有行
pd.set_option('display.max_rows', None)
#设置value的显示长度为100，默认为50
pd.set_option('max_colwidth',100)

一、pd.DataFrame()

1、DataFrame的创建与保存

(1)从excel、csv导入

  • 从excel导入
train = pandas.read_excel("./1.xls")
df = pandas.DataFrame(train)
  • 从csv导入
train = pandas.read_csv("./1.csv")
df = pandas.DataFrame(train)

(2) 手动创建

# coding=utf-8
import numpy as np
import pandas as pd

df = pd.DataFrame(np.arange(12, 24).reshape((3,4)), columns=["W","X","Y","Z"])
print(df)
'''
    W   X   Y   Z
0  12  13  14  15
1  16  17  18  19
2  20  21  22  23
'''

(3) 保存为excel、csv

  • 保存为excel
df.to_excel("./1.xls", columns=file_column)
  • 保存为csv
df.to_csv("./1.csv", columns=file_column)

2、DataFrame的增加

df
'''
    W   X   Y   Z
0  12  13  14  15
1  16  17  18  19
2  20  21  22  23
'''

(1) 在pandas.DataFrame中添加一行

import random
df.loc[3] = [random.randint(-1,1) for i in range(4)]
df

'''
    W   X   Y   Z
0  12  13  14  15
1  16  17  18  19
2  20  21  22  23
3  -1   0  -1  -1
'''

(2) 在pandas.DataFrame中添加多行

import random
df = pd.DataFrame(columns=('lib', 'qty1', 'qty2'))  # 生成空的pandas表
for i in range(5):  # 插入一行<span id="transmark" style="display:none;"></span>
    df.loc[i] = [random.randint(-1, 1) for n in range(3)]
print(df)

'''
  lib qty1 qty2
0   1    0    1
1   0    0    1
2   0    1   -1
3   1   -1    1
4   0    1   -1
'''

3、DataFrame的删除

df
'''
    W   X   Y   Z
0  12  13  14  15
1  16  17  18  19
2  20  21  22  23
'''

(1) 在pandas.DataFrame中删除一行或多行

df.drop([0,1])

'''
    W   X   Y   Z
2  20  21  22  23
'''

(2) 在pandas.DataFrame中删除一列或多列

  • 下面两种方法等价
df.drop(['W','Z'], axis=1)

'''
    X   Y
0  13  14
1  17  18
2  21  22
'''

df.drop(columns=['W', 'Z'])

'''
    X   Y
0  13  14
1  17  18
2  21  22
'''

4、DataFrame的查看

df
'''
    W   X   Y   Z
0  12  13  14  15
1  16  17  18  19
2  20  21  22  23
'''

(1) pd.head()

  • 用于查看dataframe的前几行，n默认为5
df.head(n=1)

'''
    W   X   Y   Z
0  12  13  14  15
'''

(2) 使用切片，多行提取

df[0:3]

'''
    W   X   Y   Z
0  12  13  14  15
1  16  17  18  19
'''

(3) 使用表达式取到某些条件的行

'''
    W   X   Y   Z
0  12  13  14  15
1  16  17  18  19
2  20  21  22  23
'''

df[df.Z>15]

'''
    W   X   Y   Z
1  16  17  18  19
2  20  21  22  23
'''

(4) 使用df.loc()进行行选取，使用索引名字

df.loc[1]

'''
W    16
X    17
Y    18
Z    19
Name: 1, dtype: int32
'''

df.loc[1:3]

'''
    W   X   Y   Z
1  16  17  18  19
2  20  21  22  23
'''

(5) 使用df.iloc()进行单行、单独元素、多行提取

'''
    W   X   Y   Z
0  12  13  14  15
1  16  17  18  19
2  20  21  22  23
'''
  • 使用df.iloc()进行单行、多行选取
df.iloc[1,]

'''
W    16
X    17
Y    18
Z    19
Name: 1, dtype: int32
'''
  • 使用df.iloc()进行单独元素提取
df.iloc[1,1]

'''
17
'''
  • 使用df.iloc()进行多行选取
df.iloc[1:3,]

'''
    W   X   Y   Z
1  16  17  18  19
2  20  21  22  23
'''

(6) 提取出DataFrame中的一列

df.to_dict()["W"]

'''
{0: 12, 1: 16, 2: 20}
'''

5、DataFrame的修改

df
'''
    W   X   Y   Z
0  12  13  14  15
1  16  17  18  19
2  20  21  22  23
'''

(1) 在pandas.DataFrame中修改一行

import random
df.loc[2] = [random.randint(-1,1) for i in range(4)]
df

'''
    W   X   Y   Z
0  12  13  14  15
1  16  17  18  19
2  -1   1  -1   0
'''

(2) 在pandas.DataFrame中修改多行

import random
df = pd.DataFrame(np.arange(12, 24).reshape((3,4)), columns=["W","X","Y","Z"])
for i in [1,2]:
    df.loc[i] = [random.randint(-1,1) for i in range(4)]
print(df)

'''
    W   X   Y   Z
0  12  13  14  15
1  -1  -1   0   1
2   0   1   0   0
'''

6、DataFrame获取excel的表头

  • DataFrame获取excel的表头，用以创建新的相同表头的表
# coding=utf-8
import numpy as np
import pandas as pd

df = pd.DataFrame(np.arange(12, 24).reshape((3,4)), columns=["W","X","Y","Z"])
print(df1)
'''
    W   X   Y   Z
0  12  13  14  15
1  16  17  18  19
2  20  21  22  23
'''
--------------------------------------------
# 获取表头
file_column = [x for x in df]
print(file_column)

'''
['W', 'X', 'Y', 'Z']
'''

7、DataFrame中将空字符串替换为0

  • 此处是为了解决有时候表格有空值，再处理数据等一些操作时，会带来一定的不便，因此，介绍了这一种将空值替换为任意字符的方法，此处以0举例。
  • 注意，他的操作对象只能是建好的表格，而不能是未赋值的表格。
df.fillna(0)

二、pd.Series()

  • Series 是一维数组，基于Numpy的ndarray 结构
Series([data, index, dtype, name, copy, …])	
# One-dimensional ndarray with axis labels (including time series).

1、Series 创建

import pandas as pd 
import numpy as np

(1) pd.Series([list],index=[list])

  • pd.Series([list],index=[list]) 参数为list ,index为可选参数，若不填写则默认为index从0开始
obj = pd.Series([4, 7, -5, 3, 7, np.nan])
obj

输出结果为：

0    4.0
1    7.0
2   -5.0
3    3.0
4    7.0
5    NaN
dtype: float64
  • 指定index
obj = pd.Series([4, 7, -5, 3, 7, np.nan], [4,3,"a",1,0,"hello"])
obj

输出结果为：

4        4.0
3        7.0
a       -5.0
1        3.0
0        7.0
hello    NaN
dtype: float64

(2) pd.Series(np.arange())

pd.Series(np.arange())

arr = np.arange(6)
s = pd.Series(arr)
s

输出结果为：

0    0
1    1
2    2
3    3
4    4
5    5
dtype: int32

(3) pd.Series({dict})

pd.Series({dict})

d = {'a':10,'b':20,'c':30,'d':40,'e':50}
s = pd.Series(d)
s

输出结果为：

a    10
b    20
c    30
d    40
e    50
dtype: int64

(4) 可以通过DataFrame中某一行或者某一列创建序列

Reference

  1. 创建pd.Series的方法. pd.Series函数详解
  2. pandas基础之按行取数（DataFrame）
  3. Pandas 对DataFrame的缺失值NA值处理4种方法总结
  4. dataframe缺失值补零
miracleo_
关注
专栏目录
pandas使用教程：导入数据和查找行和列，条件选择
Cachel Wood的博客
04-30 1495
学生的姓名，这列没有重复值，一个学生一行，即一条数据，共100条。这是一个学生各季度成绩总表（节选），各列说明如下。建立实际行索引之后，数字索引就没有了。：所在的团队、班级，这个数据会重复。：各个季度的成绩，可能会有重复值。
DataFrame对象（创建，读取，添加，删除，方法）
weixin_62478198的博客
12-09 3662
DataFrame对象（创建，读取，添加，删除，方法）
pandas(四)DataFrame新增列、修改列、删除列
风华浪浪的博客
12-22 1544
.reindex()能够改变或重排Series和DataFrame索引。直接赋值、apply、assign、分条件赋值。
关于使用pandas修改CSV数据并且保存修改后的数据的做法
ChangHongYin的博客
10-18 1万+
发现python的pandas模块有一个功能inplace=False可以保存修改后的csv数据 import pandas as pd import numpy as np data1 = pd.read_csv(‘data.csv’, encoding=‘utf-8’) data1 data1.drop([“radius_mean”,“texture_mean”],axis=1,inplace=True)#删除列名为handsome和smart的整列 #注意这个地方inplace=True说明已经对原来
数据分析07——Pandas中对数据进行增删改查的操作
sz1125218970的博客
05-15 539
在《数据分析06——Pandas中的数据抽取》中已经介绍了在Pandas中如何进行数据查找，而查找这个功能是增加修改和删除的前提。首先创建一个DataFrame数据，用于后面的举例。补充，在jupyter中要查看某个函数的参数详情，可以把光标放在函数上，然后按下shift+table。
Pandas模块中的DataFrame数据操作
天际
03-09 3231
将Excel中的数据读入Pandas模块中的DataFrame结构，然后对数据进行增删查改等操作。
Pandas 使用技巧（一）
sfw_123817的专栏
06-17 404
Pandas 的列表 pd.Series([1,2,3,4]) 它会为每一个数据设置一个序号 dtype，列表中数据的格式 DataFrame： Pandas 的矩阵， 在Pandas中叫做DataFrame, 它是一个大的矩阵类似于二维的numpy， 数据为numpy的数据，但是为每行指定索引和每一列指定索引，结构类似于通常意义的表。 dates = pd.date_ra...
Pandas 使用技巧（二）
sfw_123817的专栏
06-25 228
处理丢失数据 由np.nan 填充丢失的数据 df.dropna(axis=0, how='any') axis 根据行或者列丢弃，0 是行，1是列 how，指定丢弃行为 any，只要有一个nan就丢弃，，默认 all，所有的都为nan才丢弃 df.fillna(value=0), 为nan填上数据 value, 指定需要填入的数据 其他相关方法 df.isnu...
pandas实现excel中的数据透视表和Vlookup函数功能代码
12-20
在这个场景中，我们看到如何使用Pandas实现Excel中的数据透视表和类似Vlookup的功能。首先，让我们详细解释一下这段代码的主要部分。 1. **数据读取**： `pd.read_excel` 函数用于从Excel文件中加载数据到...
pandas使用工作技能总结
最新发布
06-17
Pandas 支持对 DataFrame 的列进行增加、删除、修改和排序操作。 #### 2. 使用方法 **2.1 DataFrame 数据查找** - `df.loc[df['A'] > 0]`：根据条件筛选数据。 **2.2 DataFrame 数据插入** - `df['E'] = df['A'] ...
基于python实现Pandas提取指定数据并保存在原Excel工作簿中
07-03
基于python实现Pandas提取指定数据并保存在原Excel工作簿中
Padas DataFrame添加、删除、异常数据处理操作
kylinxjd的博客
08-02 4116
pandas添加、删除DataFrame行、列 处理异常数据
第三章. Pandas入门—数据的增加，修改和删除
weixin_45116749的博客
11-04 1786
第三章. Pandas入门—数据的增加，修改和删除
pandas中Dataframe中增删改查的基本操作
hugeliuyifei23456的博客
03-14 1425
以上代码中，我们首先创建了一个DataFrame对象df，包含了两列A和B，然后使用append()方法增加了一行数据，最后将新的DataFrame对象赋值给df_new。（1）增加行 在DataFrame中，可以使用append()方法来增加行数据，该方法会返回一个新的DataFrame对象，原对象不会发生改变。（2）增加列 在DataFrame中，可以使用assign()方法增加列数据，该方法会返回一个新的DataFrame对象，原对象不会发生改变。Pandas提供了更多的方法来方便地对数据进行处理。
【Python】pandas遍历读取excel文件，修改并保存（一）
热门推荐
2024 做自己的太阳
06-27 3万+
code ide and lib version： python            2.7（64） pycharm            2018.1.4 xlrd            1.1.0 pandas            0.23.1 play： 这个是一个读取excel表格里的接口数据，实例化为一个对象，供操作，往事把一顿操作后的结果写回到excel里，完事。 ...
Python修改Excel单元格值并保存
weixin_40646871的博客
01-09 943
使用Python处理Excel需要使用到pandas。
Python数据分析之从零学Pandas基础操作
小菜的OnePiece的博客
06-27 1202
Pandas是一个在Python编程语言中广泛使用的开源数据分析和数据处理库。它提供了高效、灵活和易于使用的数据结构，特别适用于处理结构化和标签化数据。Pandas的主要数据结构是DataFrame和Series。DataFrame是一个类似于电子表格或SQL表的二维数据结构，可以存储和处理具有不同数据类型的列。Series是一维标签化数组，类似于一列数据。使用这些数据结构，Pandas提供了许多功能强大的方法和函数，用于数据清洗、数据转换、数据筛选、数据分组、数据合并等数据操作任务。
大话 Python：python 操作 excel 系列 -- pandas 读取、分析、保存
2401_84139908的博客
05-13 1180
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。
pandas 匹配表格 插入某一列表格数据
05-27
可以使用pandas库来匹配表格并插入某一列表格数据，具体步骤如下： 1. 导入pandas库 ```python import pandas as pd ``` 2. 读取需要匹配的两个表格 ```python df1 = pd.read_excel('表格1.xlsx', usecols=['列名1', '列名2', ...]) df2 = pd.read_excel('表格2.xlsx', usecols=['列名3', '列名4', ...]) ``` 3. 确定匹配的标准，并将两个表格按照标准进行匹配 ```python matched_df = pd.merge(df1, df2, on='标准列名', how='inner') ``` 其中，`on`参数表示匹配的标准列名，`how`参数表示匹配的方式，`inner`表示内连接，即只保留在两个表格中都存在的数据。 4. 将需要插入的数据存为一个Series或DataFrame格式 ```python new_data = pd.Series([data1, data2, data3, ...], name='新列名') ``` 5. 将新数据插入到匹配后的表格中 ```python matched_df.insert(loc=idx, column='新列名', value=new_data) ``` 其中，`loc`参数表示插入的位置，`idx`表示插入的列索引位置，`column`参数表示插入的列名，`value`参数表示插入的数据。 6. 将匹配后的数据保存为新的Excel文件 ```python matched_df.to_excel('新表格.xlsx', index=False) ``` 需要注意的是，插入的数据必须与匹配后的表格行数相同。如果插入的数据是DataFrame格式，列名必须与匹配后的表格中的列名相同。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值