实践题目：使用pandas处理excel多行到多列

文章目录

• 前言
• 一、pandas是什么？
• 二、使用步骤
  • 1.引入库
  • 2.读入数据
• 总结

---

前言

使用pandas实现excel的复杂多列到多行转换

一、需求

使用pandas实现excel的复杂多列到多行转换

二、使用步骤

1.引入库

import pandas as pd

2.读入数据

df = pd.read_excel('源数据.xlsx')

3.将需要合并的列的列名先放在列表中

merge_list = list(df.loc[:, '学科':].columns)

4.填充空值为0

df.loc[:, '学科':] = df.loc[:, '学科':].fillna(0)

 5.添加新列，把待合并的所有列变成一个大字符串(传入函数处理)

# 定义函数来处理合并操作
def merge_values(s):
    # 每2列进行合并分隔符为|，2列与2列合并分割符为#，即 数学|90#语文|80#英语|85
    result = []
    for idx in range(0, len(s.values), 2):  # len(s.values)即df.loc[:,'学科':]的每一行的长度 ，第三个字段2为步长2即2个合并
        result.append(f'{s[idx]}|{s[idx + 1]}')  # 生成一个列表，格式为['数学|90.0', '语文|80.0', '英语|85']
    return '#'.join(result)  # 将列表用#号分割返回一个大字符串 格式为：数学|90.0#语文|80.0#英语|85
# 添加新列，把待合并的所有列变成一个大字符串(传入函数处理)
df['merge'] = df.loc[:, '学科':].apply(merge_values, axis=1)

6.删除合并之前的列，保存id，name，merge列

df.drop(merge_list,axis=1,inplace=True)

7. 使用explode来变成多列

# 使用#号分割，将merge列变为list格式,merge列的格式如下[数学|90.0, 语文|80.0, 英语|85]
df['merge'] = df['merge'].str.split('#')
# 使用explode来变成多列
df = df.explode('merge')   # explode将merge列按列表分割为多行

 8.新增学科、成绩两列，并删除过度列merge

df['学科'] = df['merge'].str.split('|').str[0]
df['成绩'] = df['merge'].str.split('|').str[1]
df.drop(['merge'],axis=1,inplace=True)

9.存储到本地生成新的csv文件

df.to_excel('转换后数据.xlsx', index=False)

---

总结

1. 一行变多行，可以用explode实现；

2. 使用explode，需要先将多列合并为一列（列表）；

3. 注意有的列为空，需要进行填充处理，使用fillna(0)