pandas处理Excel基本方法

已于 2022-07-19 11:26:29 修改
阅读量1.2w 收藏 83
点赞数 7
分类专栏： Pandas python 文章标签： pandas python 数据分析
于 2022-07-18 23:05:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43788986/article/details/125854545
版权

学习总结主要参考了视频内容https://www.bilibili.com/video/BV1hk4y1C73S?p=2&vd_source=7771577bd8c0c69d43ee27a1c1ac8a1a
主要总结了使用pandas处理Excel表格，以及将Excel数据显示为图表。

1.用pandas创建一个Excel表格：使用to_excel('pandas1.xlsx')’创建

import pandas as pd

df = pd.DataFrame()
df.to_excel('pandas1.xlsx')
print('done!')

成功创建：
在这里插入图片描述

2.简单的往Excel加入数据：

import pandas as pd

zd = {
    'id':[i for i in range(1,6)],
    'name':['Jenny','Danny','Li Ming','Tim','Wang']
}
df = pd.DataFrame(zd)
df.to_excel('pandas1.xlsx')
print('done!')

在这里插入图片描述

3.选择某一列作为索引：df = df.set_index('id')

import pandas as pd

zd = {
    'id': [i for i in range(1, 6)],
    'name': ['Jenny', 'Danny', 'Li Ming', 'Tim', 'Wang']
}

df = pd.DataFrame(zd)
df = df.set_index('id')

df.to_excel('pandas1.xlsx')
print('done!')

4.打开Excel表格（openpyxl包需要安装好）：

import pandas as pd

pd = pd.read_excel('Pandas_study.xlsx',engine='openpyxl')
print(pd.shape)
print(pd.index)
print(pd.columns)

在这里插入图片描述

5.查看表格前几行或者后几行：

import pandas as pd

pd = pd.read_excel('Pandas_study.xlsx',engine='openpyxl')
print(pd.head(3))
print(pd.tail(3))

在这里插入图片描述

6特殊情况：

情况1：第一行为脏数据，不需要：
在这里插入图片描述
可以使用pd = pd.read_excel('pandas1.xlsx',engine='openpyxl',header=1)

import pandas as pd

pd = pd.read_excel('pandas1.xlsx',engine='openpyxl',header=1)
print(pd)

在这里插入图片描述
情况2：没有columns名字：
在这里插入图片描述
使用：pd = pd.read_excel('pandas1.xlsx',engine='openpyxl',header=None)
在这里插入图片描述
可以自己设置columns：

import pandas as pd

pd = pd.read_excel('pandas1.xlsx',engine='openpyxl',header=None)
print(pd)
pd.columns=['id','name','sex']
print(pd)

在这里插入图片描述
保存前你会发现左边的0-4是自动生成的index，保存也会加上，为了不要可以写成index=False：

import pandas as pd

pds = pd.read_excel('pandas1.xlsx', engine='openpyxl', header=None)
pds.columns = ['id', 'name', 'sex']
pds.to_excel('pandas2.xlsx', index=False)

在这里插入图片描述

7读取文件把某行设置为index：

import pandas as pd

pds = pd.read_excel('pandas2.xlsx', engine='openpyxl',index_col='id')
print(pds)

在这里插入图片描述

8行列单元格操作

import pandas as pd

s1 = pd.Series([1, 2, 3], index=[1, 2, 3], name='one')
s2 = pd.Series([11, 22, 33], index=[1, 2, 3], name='two')
s3 = pd.Series([41, 22, 83], index=[1, 2, 3], name='three')

s = pd.DataFrame({s1.name: s1, s2.name: s2, s3.name: s3})
print(s)
s0 = pd.DataFrame([s1,s2,s3])
print(s0)
s0=s0.T
print(s0)

在这里插入图片描述

9.Excel表格特殊情况读取：

在这里插入图片描述
这种情况直接读取会有问题：pds = pd.read_excel('pandas2.xlsx', engine='openpyxl')
在这里插入图片描述
所以这种情况我们需要对读取文件进行设置：

import pandas as pd

pds = pd.read_excel('pandas2.xlsx', engine='openpyxl',skiprows=7,usecols='D:F',index_col='id')
print(pds)

在这里插入图片描述

10.计算列：

在这里插入图片描述
我们让C,D列进行计算，如下：

import pandas as pd

pds = pd.read_excel('pandas2.xlsx', engine='openpyxl')
#方法一
pds['x*y']=pds['x']*pds['y']
#方法二，可以进行部分计算
for i in range(0,len(pds['x'])):
    pds['x-y'].at[i]=pds['x'].at[i]-pds['y'].at[i]

print(pds)

在这里插入图片描述
可以把这些数据保存到Excel表格。

11.排序：

在这里插入图片描述

import pandas as pd

pds = pd.read_excel('pandas2.xlsx', engine='openpyxl')
pds.sort_values(by='y',inplace=True,ascending=False)#ascending默认为True，从小到大排序，False为从大到小排序

print(pds)

在这里插入图片描述

12.apply（）使用

在这里插入图片描述

import pandas as pd

def num5_20(y):
    return 5<y<20


pds = pd.read_excel('pandas2.xlsx', engine='openpyxl')
pds = pds.loc[pds['y'].apply(num5_20)]

print(pds)

或者使用lambda表达式

import pandas as pd

pds = pd.read_excel('pandas2.xlsx', engine='openpyxl')
pds = pds.loc[pds['y'].apply(lambda a: 5 < a < 20)]

print(pds)

在这里插入图片描述

13.Excel表数据展示柱状图：

在这里插入图片描述

import pandas as pd
import matplotlib.pyplot as plt

pds = pd.read_excel('pandas2.xlsx', engine='openpyxl')
#方法一
pds.plot.bar(x='name',y='x')
#方法二
plt.bar(pds.name,pds.x)
plt.show()

在这里插入图片描述

import pandas as pd
import matplotlib.pyplot as plt

pds = pd.read_excel('pandas2.xlsx', engine='openpyxl')
pds.plot.bar(x='name', y=['x', 'y'], color=['yellow', 'orange'], title='show')
plt.show()

在这里插入图片描述
使用stacked=True进行叠加：

import pandas as pd
import matplotlib.pyplot as plt

pds = pd.read_excel('pandas2.xlsx', engine='openpyxl')
pds.plot.bar(x='name', y=['x', 'y'],stacked=True, color=['yellow', 'orange'], title='show')
plt.show()

在这里插入图片描述
转为水平的使用plot.barh

import pandas as pd
import matplotlib.pyplot as plt

pds = pd.read_excel('pandas2.xlsx', engine='openpyxl')
pds.plot.barh(x='name', y=['x', 'y'],stacked=True, color=['yellow', 'orange'], title='show')
plt.show()

在这里插入图片描述

import pandas as pd
import matplotlib.pyplot as plt

pds = pd.read_excel('pandas2.xlsx', engine='openpyxl',index_col='name')
pds['x'].plot.pie(title='name_x',startangle=10,fontsize=6)
# pds.plot.barh(x='name', y=['x', 'y'],stacked=True, color=['yellow', 'orange'], title='show')
plt.show()

在这里插入图片描述
折线图：

import pandas as pd
import matplotlib.pyplot as plt

pds = pd.read_excel('pandas2.xlsx', engine='openpyxl', index_col='name')
pds.plot(y=['x', 'y'])
plt.title('name-x-y', fontsize=12, fontweight='bold')

plt.show()

在这里插入图片描述
散点图：

import pandas as pd
import matplotlib.pyplot as plt

pds = pd.read_excel('pandas2.xlsx', engine='openpyxl')
pds.plot.scatter(x='name', y=['x'])
plt.title('name-x-y', fontsize=12, fontweight='bold')
plt.show()

在这里插入图片描述

14.相关系数函数corr()

series.corr(other[, method, min_periods])

用途：
检查两个变量之间变化趋势的方向以及程度，值范围-1到+1，0表示两个变量不相关，正值表示正相关，负值表示负相关，值越大相关性越强。

15.合并表格

有以下两个表格：
在这里插入图片描述
在这里插入图片描述
我们需要把表合并：merge（）

import pandas as pd

pds1 = pd.read_excel('pandas1.xlsx', engine='openpyxl', sheet_name='name',index_col='id')
pds2 = pd.read_excel('pandas1.xlsx', engine='openpyxl', sheet_name='score',index_col='id')

pds = pds1.merge(pds2,on='id')

print(pds)

在这里插入图片描述
我们发现少了一个学生，所以代码需要修改为：pds = pds1.merge(pds2, how='left', on='id')
在这里插入图片描述
可以进行保存：

import pandas as pd

pds1 = pd.read_excel('pandas1.xlsx', engine='openpyxl', sheet_name='name', index_col='id')
pds2 = pd.read_excel('pandas1.xlsx', engine='openpyxl', sheet_name='score', index_col='id')

# pds = pds1.merge(pds2, how='left', on='id')
pds = pds1.merge(pds2, how='left', left_on='id', right_on='id').fillna(0)
pds.score = pds.score.astype('Int64')#或者(int)

pds.to_excel('pandas1.xlsx', sheet_name='name_score')

在这里插入图片描述

但我们会发现遇到一个问题，pandas1.xlsx被重写，只剩下name_score一个sheet中，原本的name，score没有了，只有最后一个存储的数据，并不符合我们的需求。解决方法如下：

import pandas as pd

pds1 = pd.read_excel('pandas1.xlsx', engine='openpyxl', sheet_name='name', index_col='id')
pds2 = pd.read_excel('pandas1.xlsx', engine='openpyxl', sheet_name='score', index_col='id')

# pds = pds1.merge(pds2, how='left', on='id')
pds = pds1.merge(pds2, how='left', left_on='id', right_on='id').fillna(0)
pds.score = pds.score.astype('Int64')#或者(int)

writer = pd.ExcelWriter('pandas1.xlsx')
pds1.to_excel(writer, sheet_name='name')
pds2.to_excel(writer, sheet_name='score')
pds.to_excel(writer, sheet_name='name_score')
writer.save()

在这里插入图片描述

16数据校验

在这里插入图片描述

import pandas as pd
def score_test(row):
    try:
        assert 0 <= row.score <= 100
    except:
        print(row.rname, 'has a wrong score')


pds = pd.read_excel('pandas1.xlsx', engine='openpyxl', sheet_name='name_score', index_col='id')
pds.apply(score_test, axis=1)  # axis=0为从上到下

在这里插入图片描述
axis 参数指定在 DataFrame 中应用特定方法或函数的方向。axis=0 代表函数是列式应用，axis=1 表示函数是行式应用在 DataFrame 上。
一个 DataFrame 对象有两个轴，分别是 “axis=0" 和 “axis=1“ ，“axis=0” 代表“跨行”，“axis=1“代表“跨列”，显而易见Series 与 DataFrame 共享相同的 “axis=0" 方向——它沿着跨行的方向。
在这里插入图片描述
不理解可以看：https://zhuanlan.zhihu.com/p/444973350

<编程路上>
关注
  • 7
    点赞
  • 踩
  • 83
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pandas处理Excel数据
kalath_aiur的博客
03-17 458
我们在日常工作中，经常会碰到处理Excel表中数据的情况，例如学校的教师需要统计学生的成绩或者学生信息的管理。如果使用人工的方式进行修改，数据量很大的时候处理起来速度会很慢，还容易出现错行等错误。此时，如果我们使用pandas进行数据的处理，速度会很快且不易出错。 接下来就以一个简单的例子来说明。 需求 学校教师手中有两张学生表，但是只有一张表中有学生的电话信息（图中手机号为随机生成的） 需要将...
pandas处理Excel文件
fengzhilaoling的博客
05-15 455
首先学习如何处理当个Excel文件 首先对Excel做一个简单说明 每个Excel文件我们称作一个Excel工作簿，而每个工作簿中有多个工作表 下面来看我们要处理的工作簿 一个名为data.xlsx的Excel工作簿，里边有三张表(sheet)分别是data1，data2，data3 获取工作簿中的sheet名称(工作表的名称)和个数 In [12]: import pandas as pd In [13]: sheet .
【Python办公自动化】用Pandas库自动化操作Excel
Python单行客的博客
04-22 1303
【Python办公自动化】用Pandas库自动化操作Excel
Pandas处理Excel超简单
m0_59236127的博客
01-29 2万+
前言 前几天有朋友咨询我关于学习 Python 和 VBS 的疑问，因为他想要将自己繁杂的 Excel 操作自动化，他了解到通过 Python 和 VBS 都可以达到他的目的，所以他在纠结到底学哪个？因为我就是搞 Python 得嘛，所以我当场就建议他学 Python。 但是为了让这位朋友能够从实践上体验到 Python 的简洁高效，今天我们就一起来进入 Pandas 的 Excel 世界。 安装 pip install pandas 当遇到安装出错时，一般可以通过升级 pip 和升级 setuptoo
【Python】pandas中的read_excel()和to_excel()函数解析与代码实现
最新发布
06-10 1万+
【Python】pandas中的read_excel()和to_excel()函数解析与代码实现
pandas---数据处理（excel文件）
d_eng_的博客
05-20 6153
说明：防止分组后同样的数据顺序不一致，导致数据误差。
使用Pandas处理Excel文件
python收藏家的博客
08-19 3823
Excel工作表是非常本能和用户友好的，这使得它们非常适合操作大型数据集，即使是技术人员也不例外。如果您正在寻找学习使用Python在Excel文件中操作和自动化内容的地方，请不要再找了。你来对地方了。在本文中，您将学习如何使用Pandas来处理Excel电子表格。
Python pandas 操作 excel 详解
鱼丸丶粗面
12-26 9401
Python pandas 操作 excel 详解
Pandas写入Excel函数——to_excel 技术总结
热门推荐
HJ_xing的博客
01-10 12万+
Python作为数据分析的一个热门语言，经常会与Excel交互。 下面是我对python写入excel的一些技术总结。 Pandas是Python做数据分析重要的包，与它相关的技术也是最多的 为了方便理解，我将通过一个实际完整的例子去讲述Pandas是如何实现自动化写入Excel的。 1.pandas写入Excel最简单用法：to_excel import pandas as pd df1 = pd.DataFrame({'One': [1, 2, 3]}) df1.to_excel('e..
Python pandas如何向excel添加数据
09-16
除了基本的写入操作，`to_excel()`方法还可以接受很多其他参数来定制输出，如设置浮点数的精度、调整列宽、设置样式等。例如，`float_format`参数可以控制浮点数的显示格式，`col_space`可以设定列宽。此外，通过`...
Python利用pandas处理Excel数据的应用详解
12-26
最近迷上了高效处理数据的pandas，其实这个是用来做数据分析... 1：pandas依赖处理Excel的xlrd模块，所以我们需要提前安装这个，安装命令是：pip install xlrd 2:安装pandas模块还需要一定的编码环境，所以我们自己在
forkkk:pandas操作Excel
05-14
pandas是一个强大的数据分析工具，它提供了一系列高效、灵活的函数和方法，使得处理Excel这样的表格数据变得非常方便。以下是关于pandas操作Excel的一些关键知识点： 1. **读取Excel文件**：pandas提供了`read_...
pandas玩转excel码源.zip
04-22
首先，要使用Pandas处理Excel文件，你需要确保已经安装了`pandas`和`openpyxl`或`xlrd/xlwt`库。`openpyxl`用于读写较新的.xlsx格式，而`xlrd/xlwt`则适用于旧的.xls格式。如果你还没有安装，可以使用以下命令进行...
Python pandas对excel的操作实现示例
09-16
除了这些基本操作，pandas还支持更复杂的Excel文件处理，如合并多个工作表、筛选数据、排序、分组聚合等。此外，还可以使用`to_excel()`方法将DataFrame写回Excel文件，方便进一步分析或共享。例如，`df1.to_excel('...
使用Python的pandas库操作Excel
cnds123的专栏
06-25 2万+
最近因需要用Excel电子表格处理数据，使用了其它一些方式处理Excel文件数据，这是学习笔记的整理。Python中有很多库可以操作Excel，像xlsxwriter、openpyxl、pandas、xlwings等。本文主要介绍pandas。
Python之如何使用pandas操作Excel表
qq_14945475的博客
08-09 1万+
Python+Pandas+Excel对数据进行编辑保存
pandas对excel表格的部分操作总结（持续更新）
神使墨丘利的博客
01-13 5903
pandas对excel表格的部分操作总结
pandas 处理excel表格数据的常用方法（python）
Flag_ing的博客
05-16 2万+
最近助教改作业导出的成绩表格跟老师给的名单顺序不一致，脑壳一亮就用pandas写了个脚本自动吧原始导出的成绩誊写到老师给的名单中了哈哈哈，这里就记录下用到的pandas处理excel的常用方式。（注意：只适用于.xlsx类型的文件） 1、读取xlsx表格 原始内容如下： 1、读取第n个Sheet（子表，在左下方可以查看或增删子表）的数据 import pandas as pd # 每次都需要修改的路径 path = "test.xlsx" # sheet_name默认为0，即读取第一个
EXCEL与PYTHON系列第一篇---Pandas(2)to_excel详解-xlsxwriter及openpylx
m0_73209313的博客
10-17 8560
python pandas xlwings xlsxwriter
pandas 处理 excel 表格
04-23
好的，很高兴回答您的问题。Pandas是一种Python库，用于在Python中处理数据。...以上是一些Pandas在处理Excel表格方面的基本方法，当然还有其他函数和操作可以对表格进行处理和分析。希望我的回答能对您有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

<编程路上>

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值