Pandas 基本操作介绍

最新推荐文章于 2024-02-04 11:05:13 发布
最新推荐文章于 2024-02-04 11:05:13 发布
阅读量274 收藏 2
点赞数
分类专栏： Python 文章标签： python 数据分析 Pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Eric_1993/article/details/104326620
版权

Pandas 基本操作介绍

本节介绍 Pandas 的基本操作, 方便日后查询.

文章目录

载入相关的库

import warnings
warnings.filterwarnings('ignore')
import os
import sys
from os.path import join, exists
from datetime import datetime
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline

创建操作数据

假设下面这些数据存储在 data.csv 文件中.

日期,年龄,收入,支出
2020-02-02,22,100000.9,20000.6
2020-02-03,18,20800.8,10000.3
2020-02-02,32,508008.8,10300.4
2020-02-02,26,332342.8,101240.3
2020-02-03,24,332344.6,101240.5
2020-02-04,54,134364.2,11240.5
2020-02-03,53,254354.8,11240.0
2020-02-04,13,254234.2,1140.0

数据读取

下面提供一些数据文件读取的函数, 方便将 csv 或 excel 中的数据读入到 pandas 中.

从文件中读取数据

def read_raw_csv_file(file_name):
    """
    直接读取 csv 文件, 不做任何预处理
    """
    df = pd.read_csv(file_name, encoding='utf-8')
    return df

def preprocess(raw_csv_file, output_file):
    """
    处理编码问题
    """
    print('>>>[Preprocess] Preprocessing Raw CSV File: {}'.format(raw_csv_file))
    with open(raw_csv_file, 'rb') as f:
        with open(output_file, 'w') as out:
            for line in f:
                line = line.decode('gb2312').strip().rstrip(',')
                out.write('{}\n'.format(line))
    print('>>>[Preprocess] Saving CSV File To: {}'.format(output_file))

def read_csv_with_preprocess(raw_csv_file, tmp_file='tmp.csv', rm_tmp=True):
    """
    读取原始 csv 文件, 同时包含预处理.
    预处理是为了解决中文内容无法正确读取的问题.
    """
    preprocess(raw_csv_file, tmp_file)
    df = read_raw_csv_file(tmp_file)
    if rm_tmp:
        os.remove(tmp_file)
    return df

def read_xlsx_file(file_name):
    """
    读取 xlsx 文件, 一般读取第一个 sheet
    """
    ordered_dict_dfs = pd.read_excel(file_name, sheet_name=None)
    dfs = list(ordered_dict_dfs.values())[0]
    return dfs

## 数据读取成功后, 查看前五行或者后三行
file_name = 'data.csv'
df = read_raw_csv_file(file_name)
df.head() # 或者 df.head(5)
日期年龄收入支出
02020-02-0222100000.920000.6
12020-02-031820800.810000.3
22020-02-0232508008.810300.4
32020-02-0226332342.8101240.3
42020-02-0324332344.6101240.5
## 查看数据后三行
df.tail(3)
日期年龄收入支出
52020-02-0454134364.211240.5
62020-02-0353254354.811240.0
72020-02-0413254234.21140.0
## 有的时候, 读取 csv 文件时可能没有 header (用上面数据举例子的话, 就是 csv 文件中没有 "日期,年龄,收入,支出" 这一行)
## 为了正确读取新文件, 需要说明 `header=None`. 代码中 `data1.csv` 是 `data.csv` 去掉第一行 "日期,年龄,收入,支出" 得到的
df = pd.read_csv('data1.csv', header=None, encoding='utf-8')
## 显示 df 之后, 发现 DataFrame 的 columns 是 0 ~ 3
df.head(3)
0123
02020-02-0222100000.920000.6
12020-02-031820800.810000.3
22020-02-0232508008.810300.4
## 我们可以修改 df 的 columns
df.columns = ['Date', 'Age', 'Income', 'Expense']
df.head(3)
DateAgeIncomeExpense
02020-02-0222100000.920000.6
12020-02-031820800.810000.3
22020-02-0232508008.810300.4

从内存中读取数据

## 从 list 中读取数据, 注意 "收入" 这一列我用字符串表示
data_list = [
    ['2020-02-02',22,'100000.9',20000.6],
    ['2020-02-03',18,'20800.8',10000.3],
    ['2020-02-02',32,'508008.8',10300.4],
]

df = pd.DataFrame(data_list, columns=['Date', 'Age', 'Income', 'Expense'], index=['A', 'B', 'C'])
df.head()
DateAgeIncomeExpense
A2020-02-0222100000.920000.6
B2020-02-031820800.810000.3
C2020-02-0232508008.810300.4
## 查看每一列数据的类型

## 方法 1:
print(df.dtypes)

## 方法 2:
print(list(map(lambda x: x.dtype, [df[col] for col in df.columns])))

## 方法 3:
print(list(map(lambda x: x[1].dtype, df.iteritems())))

Date        object
Age          int64
Income      object
Expense    float64
dtype: object
[dtype('O'), dtype('int64'), dtype('O'), dtype('float64')]
[dtype('O'), dtype('int64'), dtype('O'), dtype('float64')]

## 修改 Income 这一列的 dtype
df['Income'] = df['Income'].astype(np.float64)
df.dtypes

Date        object
Age          int64
Income     float64
Expense    float64
dtype: object

## 从 Dict 读取数据
data_dict = {
    'A': [1, 2, 3],
    'B': [4, 5, 6],
    'C': [7, 8, 9]
}
df = pd.DataFrame(data_dict)
df.head()
ABC
0147
1258
2369

数据访问

遍历DataFrame中的每一行和每一列

## 1. 使用 `iteritems` 或 `items` 访问 DataFrame 中的每一列, 返回 (column name, Series) pairs
## 2. 使用 `iterrows` 或 `itertuples` 访问 DataFrame 中的每一行, 前者返回  (index, Series) pairs,
## 后者返回 namedtuples
df = pd.DataFrame(
    [
        [1, 2, 3],
        [4, 5, 6],
        [7, 8, 9]
    ],
    columns=['A', 'B', 'C'],
    index=['a', 'b', 'c']
)

## 使用 iteritems 访问每一列 (items 类似)
for label, content in df.iteritems():
    print('label: {}'.format(label))
    print('content:\n{}'.format(content))
    print('content (without index):\n{}'.format(content.to_string(index=False, header=False)))
    break

label: A
content:
a    1
b    4
c    7
Name: A, dtype: int64
content (without index):
1
4
7

## 使用 iterrows 访问每一行
for label, content in df.iterrows():
    print('label: {}'.format(label))
    print('content:\n{}'.format(content))
    print('content (without index):\n{}'.format(content.to_string(index=False, header=False).replace('\n', '  ')))
    break

label: a
content:
A    1
B    2
C    3
Name: a, dtype: int64
content (without index):
1  2  3

## 使用 itertuples 访问每一行
for tp in df.itertuples(index=True, name='Pandas'):
    print(tp)
    print(getattr(tp, 'A'), getattr(tp, 'B'), getattr(tp, 'C'))

Pandas(Index='a', A=1, B=2, C=3)
1 2 3
Pandas(Index='b', A=4, B=5, C=6)
4 5 6
Pandas(Index='c', A=7, B=8, C=9)
7 8 9

行列操作

参考: pandas 删除行,删除列,增加行,增加列

增加行

  1. 使用 DataFrame 的 append 方法增加 pd.Series 作为新的一行, 注意一般 append 中需要使用 ignore_index=True 参数;
  2. 使用 DataFrame 的 loc 或 at 方法来增加新的行.
  3. 逐行增加
  4. 插入行
df = pd.DataFrame(np.arange(9).reshape(3, 3), index=list('abc'), columns=list('ABC'))

## 使用 append 增加一行 pd.Series, 注意 pd.Series 需要设置 index=df.columns
## 如果 pd.Series 没有设置 name, 那么在 append 中需要增加 ignore_index=True 参数
## 否则会报错.
new_row = pd.Series([9, 0, 1], index=df.columns, name=4)
df = df.append(new_row, ignore_index=True)
df.head()
ABC
0012
1345
2678
3901
## 使用 loc 或 at
df = pd.DataFrame(np.arange(9).reshape(3, 3), index=list('abc'), columns=list('ABC'))
df.loc[4] = [9, 0, 1]
df.at[5] = [0, 9, 1]
df.head()
ABC
a0.01.02.0
b3.04.05.0
c6.07.08.0
49.00.01.0
50.09.01.0
## 逐行插入
## 但按照下面的方式, 由于 len(df) 结果为 int, 如果这个整数在 df 表格中已经存在, 那么会覆盖原有数据
df = pd.DataFrame(np.arange(9).reshape(3, 3), index=list('abc'), columns=list('ABC'))
df.loc[len(df)] = [5, 6, 7]
df.head()
ABC
a012
b345
c678
3567
## 插入行
## 比如在 'c' 上面插入一行
## 可以先 reindex, 再插入数据
df = pd.DataFrame(np.arange(9).reshape(3, 3), index=list('abc'), columns=list('ABC'))
df = df.reindex(index=df.index.insert(2, 4)) # 'c' 在第三行, 索引为 2
df.loc[4] = [5, 6, 6]
df.head()
ABC
a0.01.02.0
b3.04.05.0
45.06.06.0
c6.07.08.0

删除行

  1. 使用 drop, 其中 axis 参数用于区别删除行还是删除列. axis 默认为 0.

推荐查阅 drop_duplicates() 用于去重.

df = pd.DataFrame(np.arange(9).reshape(3, 3), index=list('abc'), columns=list('ABC'))
df.drop(df.index[[0, 2]], axis=0, inplace=True) # inplace 删除第一行和第三行, axis 默认为 0
df.head()
ABC
b345
df = pd.DataFrame(np.arange(9).reshape(3, 3), index=list('abc'), columns=list('ABC'))
df.drop(['a', 'b'], inplace=True) # inplace 删除第一行和第二行, axis 默认为 0
df.head()
ABC
c678

增加列

  1. 遍历 DataFrame 获取序列 (不增加列)
  2. 通过 [ ] 或 loc 增加列 (常用)
  3. 通过 Insert 来增加列
## 遍历 DataFrame 获取序列, 这里没有增加列
df = pd.DataFrame(np.arange(9).reshape(3, 3), index=list('abc'), columns=list('ABC'))
s = [a + c for a, c in zip(df['A'], df['C'])]          # 通过遍历获取序列
print(s)
s = [row['A'] + row['C'] for i, row in df.iterrows()]  # 通过iterrows()获取序列，s为list
print(s)
s = df.apply(lambda row: row['A'] + row['C'], axis=1)  # 通过apply获取序列，s为Series
print(s)
s = df['A'] + df['C']                                  # 通过Series矢量相加获取序列
print(s)
s = df['A'].values + df['C'].values                    # 通过Numpy矢量相加获取序列
print(s)

[2, 8, 14]
[2, 8, 14]
a     2
b     8
c    14
dtype: int64
a     2
b     8
c    14
dtype: int64
[ 2  8 14]

## 通过 [] 或 loc 增加列
df = pd.DataFrame(np.arange(9).reshape(3, 3), index=list('abc'), columns=list('ABC'))
df['D'] = df['A'] + df['B']
df.loc[:, 'E'] = df['A'] + df['B']
df.head()
ABCDE
a01211
b34577
c6781313
## 通过 Insert 来增加列
df = pd.DataFrame(np.arange(9).reshape(3, 3), index=list('abc'), columns=list('ABC'))
df.insert(2, 'D', [3, 4, 5])
df.head()
ABDC
a0132
b3445
c6758

删除列

  1. 使用 drop, 其中 axis 参数用于区别删除行还是删除列.
df = pd.DataFrame(np.arange(9).reshape(3, 3), index=list('abc'), columns=list('ABC'))
df.drop(df.columns[[0, 2]], axis=1, inplace=True) # inplace 删除第一列和第三列, axis 默认为 0
df.head()
B
a1
b4
c7
df = pd.DataFrame(np.arange(9).reshape(3, 3), index=list('abc'), columns=list('ABC'))
df.drop(['A', 'C'], axis=1, inplace=True) # inplace 删除第一列和第三列, axis 默认为 0
df.head()
B
a1
b4
c7

数据分组 Groupby

## 创建数据
data = np.array([['2020-02-02', 18, 100000.9, 20000.6],
           ['2020-02-03', 18, 20800.8, 10000.3],
           ['2020-02-02', 20, 508008.8, 10300.4],
           ['2020-02-02', 18, 332342.8, 101240.3],
           ['2020-02-03', 18, 332344.6, 101240.5],
           ['2020-02-04', 20, 134364.2, 11240.5],
           ['2020-02-03', 20, 254354.8, 11240.0],
           ['2020-02-04', 18, 254234.2, 1140.0]], dtype=object)
df = pd.DataFrame(data, columns=['Date', 'Age', 'Income', 'Expense'])
df.head(3)
DateAgeIncomeExpense
02020-02-021810000120000.6
12020-02-031820800.810000.3
22020-02-022050800910300.4
## 按 Date 分组
t = df.groupby(['Date']).sum()
t.head()
AgeIncomeExpense
Date
2020-02-0256940352.5131541.3
2020-02-0356607500.2122480.8
2020-02-0438388598.412380.5
## 按 Date 和 Age 分组
t = df.groupby(['Date', 'Age']).sum()
t.head()
IncomeExpense
DateAge
2020-02-0218432343.7121240.9
20508008.810300.4
2020-02-0318353145.4111240.8
20254354.811240.0
2020-02-0418254234.21140.0

将 Groupby 对象转换为 DataFrame 对象

通过上面的例子我们发现, 使用 groupby 得到 Groupby 对象, 但有些场景下我们需要的是 DataFrame 对象, 此时需要给 groupby 增加 as_index=False 的参数.

t = df.groupby(['Date', 'Age'], as_index=False).sum()
t.head()
DateAgeIncomeExpense
02020-02-0218432343.7121240.9
12020-02-0220508008.810300.4
22020-02-0318353145.4111240.8
32020-02-0320254354.811240.0
42020-02-0418254234.21140.0

个性化需求

打印 DataFrame 但不输出 row number/index

参考: https://stackoverflow.com/questions/52396477/printing-a-pandas-dataframe-without-row-number-index

df = pd.DataFrame(
    [
        [1, 2, 3],
        [4, 5, 6],
        [7, 8, 9]
    ],
    columns=['A', 'B', 'C'],
    index=['a', 'b', 'c']
)
## 1. 按下面的方式, 不会输出 index 以及 header
print(df.to_string(index=False, header=False))

## 2. 使用 df.values 得到 numpy.array, 再转换为 tolist()
print(df.values.tolist())
print('\n'.join(['  '.join(map(str, row)) for row in df.values.tolist()]))

    1  2  3
    4  5  6
    7  8  9
    [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
    1  2  3
    4  5  6
    7  8  9
珍妮的选择
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pandas-multiprocess:使用多处理功能处理Pandas Dataframe的Python包
05-14
熊猫多进程 一个使用多处理功能处理Pandas Dataframe的Python包。 安装 pip install pandas-multiprocess 例子 导入包裹 from pandas_multiprocess import multi_process 定义一个函数来处理Pandas DataFrame中的每一行 函数必须将pandas.Series作为其第一个位置参数，并返回pandas.Series或pands.Series的列表。 该函数具有一个位置参数data_row ，可以定义其他参数，并且其他参数的值将通过multi_process()传递。 在这里，我们使用**args代表其他参数。 def func ( data_row , ** args ): # data_row (pd.Series): a row of a panda Dataframe
1.7学习计划
hap2y的博客
01-07 178
世界会向那些有目标和远见的人让路。 1、任务计划    （1）买票票    （2）复习计算机软件技术基础。 2、计划完成度    （1）算是可以回家啦    （2）下午把第二章讲的算法的分析仔细的学了一下。看书、看ppt、写草稿、记重点。比如计算时间空间复杂度、空间复杂度一类的。     看了一下老师留的练习题目，还有打印的资料。
pandas基本操作
qq_36407774的博客
10-26 582
1、删除某一列 df_color = df_color.drop(‘12345颜’,axis=1) 2、使用merge,根据多个条件进行合并 df_taskinfo_color = df_taskinfo.merge(df_color,how=‘left’,on=[‘a’,‘b’,‘c’,‘d’]) 3、读取文件时只选择某几列 data = pd.read_csv(‘data.csv’,usecols=[0,1,2]) 更改某列的名称 df_find = pd.concat([df_find1,df_fin
pandas的基本操作
taoxing
01-29 234
一.准备 准备工作：我们需要装好pandas库，然后引入它，一般简写为pd import pandas as pd 二.基本操作 1）生成一个表格 方法一：pd.DataFrame() #三个参数，第一个为填入的值，第二个index为表格的行标，第三个columns为表格的列标。第二三个参数如果不填则默认从0开始一直排下去。 #方法一直接使用np df = pd.DataFrame(np.arange(12).reshape((3,4)),columns=['a','b','c','d']) #i
pandas基础操作1.0
12-22
本篇主要介绍pandas的基础操作，包括Series和DataFrame的创建，以及Series的切片、索引和读取外部文件。 1. **pandas常用数据类型** - **Series**：Series是一种一维数据结构，类似于一维数组，但每个元素都有一个...
Pandas基本操作.ipynb
11-12
Pandas基本操作.ipynb
Numpy Pandas Matplotlib Seaborn基本操作
06-23
Numpy Pandas Matplotlib Seaborn都是进行机器学习数据分析的基本库。 NumPy（Numerical Python）是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list ...
Python数据分析库pandas基本操作方法
12-24
pandas是什么？ 是它吗？ 。。。。很显然pandas没有这个家伙那么可爱。。。。 我们来看看pandas的官网是怎么来定义自己的： pandas is an open source, easy-to-use data structures and data analysis tools for ...
pandas基本介绍、数据处理操作、合并操作、数据可视化
01-05
pandas基本介绍、数据处理操作、合并操作、数据可视化
pandas基础操作
qq_45011164的博客
10-06 2270
Series 1.Series的创建 1.由列表或numpy数组创建 2.由字典创建 2.Series的常用属性以及常用方法 1.Series的常用属性 2.Series的常用方法 2.DataFrame 1.DataFrame的创建 1.ndarray创建 2.字典创建 2.DataFrame的属性 3.DataFrame的索引和切片操作 1.DataFrame的索引操作 2.DataFrame的切片操作 3.DataFrame的算术运算 4.时间数据类型的转换
Pandas基本操作教程
热门推荐
qq_43283527的博客
09-29 1万+
导入数据 df= pd.read_csv( #该参数是数据在电脑里的路径，可以不填 filepath_or_buffer = r"c:\Users\win 10\Desktop\sz000002.csv", #该参数代表数据的分隔符，csv文件默认为逗号，其他常见的"\t" sep= ',', #该参数代表跳过数据文件的第一行不读 skiprows ....................
【pandas入门】pandas的基本操作
夜深人静后的码农
06-03 544
学习目标： 1、熟悉pandas工具的一些基本概念，了解DataFrame和Series数据结构 2、基于DataFrame 和 Series数据结构操作数据 3、 导入CSV到pandas的DataFrame数据结构 4、利用函数reindex将pandas里面的数据进行随机打乱 一、基本概念： 基本环境和代码在我的github进行下载,第一课Github链接 Dat...
Pandas入门（一）—基本操作
九天狂狼的博客
08-26 351
                                               Pandas入门（一）—基本操作 Pandas是Python的一个数据分析常用库，以下是学习和使用Pandas的过程中积累的一些常用方法和基本操作。 1.读取CSV文件： pd.read_csv("文件路径名") 2.读取Excel文件： pd.read_excel("文件路径名") 3....
pandas操作
qiao8756的博客
06-06 426
带有重复值的轴索引：    obj = Series(range(5), index=['a', 'a', 'b', 'c']) obj.index.is_unique # 判断索引是否唯一，返回bool值 对于含有多个索引，在选取数据时，如果某个索引对应多个值，返回一个Series, 而对应单个值得，返回一个标量值。    对于  DataFrame对象与Series方法相似，选个单个唯一索引...
pandas介绍——基础操作（9）
王伟健的博客
07-10 515
大家好，这次继续python另外一个包的学习~pandas1.pandas Series操作首先让我们重新在jupyter notebook中导入各种包import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns这里简单提一下，matplotlib和seaborn两个包都是我...
【Python基础】pandas 使用指南（超详细！）
最新发布
你一定能够成为你想要去成为的人。
02-04 3704
pandas指南 学习目的： 掌握pandas中series与dataframe pandas数据清洗 使用pandas进行数据基本统计 时间序列分析 数据分析常用方法 1 Pandas基础 pandas是python中数据分析核心库，能够快速，灵活的对大量数据进行分析，是Python进行数据分析的必要利器； pandas支持多种数据导入，支持数据合并，拆分，基本统计，时间序列分析，透视表等多种操作； 1.1 Series数据结构 Series：一维的带索引数据结构(单列) Series类： pd
问题解决：pandas报错Process finished with exit code -1073740791 (0xC0000409)
weixin_46276803的博客
03-04 1424
在某一列有值的时候填值就不报错，删掉这一列再填值就报错。PyQt5界面。 报错是Process finished with exit code -1073740791 (0xC0000409) 原因是这一列的dtype不对，加一行代码强制设置数据类型，如： self.hao[['列名']] = self.hao[['列名']].astype(str) ...
Pandas进阶筛选和取数操作
weixin_45026301的博客
04-15 1117
pandas过程中学习的各种操作技巧。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值