利用python进行excel数据清洗

最新推荐文章于 2024-09-06 20:35:30 发布
最新推荐文章于 2024-09-06 20:35:30 发布
阅读量2.1k 收藏 16
点赞数 2
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ducanwang/article/details/128701134
版权
该代码段主要展示了如何使用Python的pandas库对多个Excel表格中的数据进行处理。首先，它读取原始数据，筛选特定设计编号的数据，转换时间格式，然后按照年份进行数据筛选。接着，对数据进行去重、分组求和，填充缺失日期，并将结果保存到新的Excel文件中。此过程分别针对振弦、扬压力、温度、位移、沉降和LE数值等不同类型的监测数据执行。
摘要由CSDN通过智能技术生成

# 导入数据包
import pandas as pd
import datetime
import os
import shutil
# ------------------以下部分是原始数据输入配置区域------------------------------
# 导入原始数据，这里需要配置原始数据文件绝对路径及Sheet名称
df = pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\A.xls", "振弦")

df1 = pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\B.xls", "GDA1105")

# 配置起始时间
s_date = datetime.datetime.strptime('2022/01/01', '%Y/%m/%d').date()

#配置结束时间
e_date = datetime.datetime.strptime('2022/12/31', '%Y/%m/%d').date()

# ------------------以上部分是原始数据输入配置区域------------------------------
# 创建保存临时表格的文件夹----------------------------------------------------
if not os.path.exists('C:\\Users\\Thinkpad\\Desktop\\临时数据表格'):
    os.makedirs('C:\\Users\\Thinkpad\\Desktop\\临时数据表格')
else:
    #清理历史遗留处理过的文件夹内容
    shutil.rmtree('C:\\Users\\Thinkpad\\Desktop\\临时数据表格')
    os.makedirs('C:\\Users\\Thinkpad\\Desktop\\临时数据表格')

# 创建保存临时表格的文件夹
if not os.path.exists('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果'):
    os.makedirs('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果')
else:
    #清理历史遗留处理过的文件夹内容
    shutil.rmtree('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果')
    os.makedirs('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果')

#第一个表原始数据初始化处理-----------------------------------------------------------
#把时间列转化成日期格式并写入到新的test.xls表中
df['时间'] = pd.to_datetime(df['时间']).dt.date
df.to_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test.xls')

#获取新的test.xls表中Sheet1的数据
stock = pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test.xls", "Sheet1")
# 显示导入的数据
print(stock['时间'])

# 选取2022年数据
stock_2022 = stock[(stock['时间'].dt.date >= s_date) & (stock['时间'].dt.date <= e_date)]

# 查看选取2022年数据并重新写入test.xls表中
print(stock_2022)
stock_2022.to_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test.xls')

#第二个表原始数据初始化处理-----------------------------------------------------------
#把时间列转化成日期格式并写入到新的test.xls表中
df1['时间'] = pd.to_datetime(df1['时间']).dt.date
df1.to_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test1.xls')

#获取新的test.xls表中Sheet1的数据
stock1 = pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test1.xls", "Sheet1")
# 显示导入的数据
#print(stock['时间'])
# 选取2022年数据
stock1_2022 = stock1[(stock1['时间'].dt.date >= s_date) & (stock1['时间'].dt.date <= e_date)]

# 查看选取2022年数据并重新写入test.xls表中
#print(stock1_2022)
stock1_2022.to_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test1.xls')
#以上部分是原始数据初始化处理---------------------------------------------------------------------------

print("-----------开始进行处理第一个表格数据----------------------")
#获取2022年伸缩缝数据-----------------------------------------------------------
data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test.xls')
# 搜索设计编号中等于J开头的值
FF = data.loc[data['设计编号'].str.startswith('J')]

FF['时间'] = pd.to_datetime(FF['时间']).dt.date

print(FF)
FF.to_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls')

# 读取Excel中Sheet1中的数据
data = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls", 'Sheet1'))

# 查看去除重复行的数据，保留最后出现的值
no_re_row = data.drop_duplicates(subset=['时间','设计编号'], keep='last')
no_re_row['时间'] = pd.to_datetime(no_re_row['时间']).dt.date
#删除未命名列
no_re_row = no_re_row[no_re_row.columns.drop(list(no_re_row.filter(regex='Unnamed')))]
# 将去除重复行的数据输出到excel表中
no_re_row.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\伸缩缝.xls")


data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\伸缩缝.xls') #打开表格
#根据设计编号进行分组求和
a = data.groupby('设计编号').sum()
#根据设计编号进行分组求和数据写入临时表ls.xls中
a.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls")
#从临时表ls.xls中读取数据
data1 = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls')
#从临时表ls.xls中读取设计编号列的数据并转化成list
sjbh = list(data1['设计编号'])
#获取设计编号筛选文本个数
i = len(sjbh)
#遍历获取设计编号文本
k = 0
dk = pd.DataFrame()
while k < i:
    #print(sjbh[k])
    FF = data.loc[data['设计编号'] == sjbh[k]]  # 搜索设计编号中等于sjbh[k]开头的数据
    FF.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=False)
    k = k+1
    bb = pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", 'Sheet1')
    #获取FF表格中需要获取的列数据
    df = pd.DataFrame({"时间": list(bb["时间"]), "设计编号": list(bb["设计编号"]), "模数值": list(bb["模数值"])})
    df["时间"] = df["时间"].astype("datetime64")  # 确保数据格式为日期
    date_range = pd.date_range(start=s_date, end=e_date, freq="D")  # freq="D"表示按天，可以按分钟，月，季度，年等
    df_date_new = df.set_index("时间").reindex(index=date_range)  # 使用pandas.reindex填充缺失的索引

    df_date_new.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=True, index_label="时间")

    data_new = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls')  # 打开表格

    df_all = pd.concat([dk, data_new], ignore_index=False)  # concat 合并有相同字段名的dataframe
    print(df_all)
    data_list = df_all.drop_duplicates(keep='first')  # 避免字段名重复写入，一般会做去重处理
    df_all.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\伸缩缝new.xls")  # 写出数据
    # 读取温度new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\伸缩缝new.xls", 'Sheet1'))
    # 删除未命名列
    dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
    # 将去除重复行的数据输出到excel表中
    dk.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\伸缩缝new.xls")
    # 读取温度new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\伸缩缝new.xls", 'Sheet1'))


# 时间列只保留年月日格式
dk = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\伸缩缝new.xls') #打开表格
dk['时间'] = pd.to_datetime(dk['时间']).dt.date
# 删除未命名列
dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
dk.to_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\伸缩缝new.xls')

#---------------------------------------------------------------------------------
#获取2022年扬压力数据---------------------------------------------------------------------------------
data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test.xls')
# 搜索设计编号中等于P开头的值
FF = data.loc[data['设计编号'].str.startswith('P')]

FF['时间'] = pd.to_datetime(FF['时间']).dt.date

print(FF)
FF.to_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls')

# 读取Excel中Sheet1中的数据
data = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls", 'Sheet1'))

# 查看去除重复行的数据，保留最后出现的值
no_re_row = data.drop_duplicates(subset=['时间','设计编号'], keep='last')
no_re_row['时间'] = pd.to_datetime(no_re_row['时间']).dt.date
#删除未命名列
no_re_row = no_re_row[no_re_row.columns.drop(list(no_re_row.filter(regex='Unnamed')))]
# 将去除重复行的数据输出到excel表中
no_re_row.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\扬压力.xls")


data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\扬压力.xls') #打开表格
#根据设计编号进行分组求和
a = data.groupby('设计编号').sum()
#根据设计编号进行分组求和数据写入临时表ls.xls中
a.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls")
#从临时表ls.xls中读取数据
data1 = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls')
#从临时表ls.xls中读取设计编号列的数据并转化成list
sjbh = list(data1['设计编号'])
#获取设计编号筛选文本个数
i = len(sjbh)
#遍历获取设计编号文本
k = 0
dk = pd.DataFrame()
while k < i:
    #print(sjbh[k])
    FF = data.loc[data['设计编号'] == sjbh[k]]  # 搜索设计编号中等于sjbh[k]开头的数据
    FF.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=False)
    k = k+1
    bb = pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", 'Sheet1')
    #获取FF表格中需要获取的列数据
    df = pd.DataFrame({"时间": list(bb["时间"]), "设计编号": list(bb["设计编号"]), "扬压力值": list(bb["模数值"])})
    df["时间"] = df["时间"].astype("datetime64")  # 确保数据格式为日期
    date_range = pd.date_range(start=s_date, end=e_date, freq="D")  # freq="D"表示按天，可以按分钟，月，季度，年等
    df_date_new = df.set_index("时间").reindex(index=date_range)  # 使用pandas.reindex填充缺失的索引

    df_date_new.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=True, index_label="时间")

    data_new = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls')  # 打开表格

    df_all = pd.concat([dk, data_new], ignore_index=False)  # concat 合并有相同字段名的dataframe
    print(df_all)
    data_list = df_all.drop_duplicates(keep='first')  # 避免字段名重复写入，一般会做去重处理
    df_all.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\扬压力new.xls")  # 写出数据
    # 读取扬压力new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\扬压力new.xls", 'Sheet1'))
    # 删除未命名列
    dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
    # 将去除重复行的数据输出到excel表中
    dk.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\扬压力new.xls")
    # 读取扬压力new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\扬压力new.xls", 'Sheet1'))


# 时间列只保留年月日格式
dk = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\扬压力new.xls') #打开表格
dk['时间'] = pd.to_datetime(dk['时间']).dt.date
# 删除未命名列
dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
dk.to_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\扬压力new.xls')


#---------------------------------------------------------------------------------
#获取2022年温度数据---------------------------------------------------------------------------------
data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test.xls')
# 搜索设计编号中等于T开头的值
FF = data.loc[data['设计编号'].str.startswith('T')]

FF['时间'] = pd.to_datetime(FF['时间']).dt.date

print(FF)
FF.to_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls')

# 读取Excel中Sheet1中的数据
data = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls", 'Sheet1'))

# 查看去除重复行的数据，保留最后出现的值
no_re_row = data.drop_duplicates(subset=['时间','设计编号'], keep='last')
no_re_row['时间'] = pd.to_datetime(no_re_row['时间']).dt.date
#删除未命名列
no_re_row = no_re_row[no_re_row.columns.drop(list(no_re_row.filter(regex='Unnamed')))]
# 将去除重复行的数据输出到excel表中
no_re_row.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\温度.xls")

data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\温度.xls') #打开表格
#根据设计编号进行分组求和
a = data.groupby('设计编号').sum()
#根据设计编号进行分组求和数据写入临时表ls.xls中
a.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls")
#从临时表ls.xls中读取数据
data1 = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls')
#从临时表ls.xls中读取设计编号列的数据并转化成list
sjbh = list(data1['设计编号'])
#获取设计编号筛选文本个数
i = len(sjbh)
#遍历获取设计编号文本
k = 0
dk = pd.DataFrame()
while k < i:
    #print(sjbh[k])
    FF = data.loc[data['设计编号'] == sjbh[k]]  # 搜索设计编号中等于sjbh[k]开头的数据
    FF.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=False)
    k = k+1
    bb = pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", 'Sheet1')
    #获取FF表格中需要获取的列数据
    df = pd.DataFrame({"时间": list(bb["时间"]), "设计编号": list(bb["设计编号"]), "温度值": list(bb["温度值"])})
    df["时间"] = df["时间"].astype("datetime64")  # 确保数据格式为日期
    date_range = pd.date_range(start=s_date, end=e_date, freq="D")  # freq="D"表示按天，可以按分钟，月，季度，年等
    df_date_new = df.set_index("时间").reindex(index=date_range)  # 使用pandas.reindex填充缺失的索引

    df_date_new.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=True, index_label="时间")

    data_new = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls')  # 打开表格

    df_all = pd.concat([dk, data_new], ignore_index=False)  # concat 合并有相同字段名的dataframe
    print(df_all)
    data_list = df_all.drop_duplicates(keep='first')  # 避免字段名重复写入，一般会做去重处理
    df_all.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\温度new.xls")  # 写出数据
    # 读取温度new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\温度new.xls", 'Sheet1'))
    # 删除未命名列
    dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
    # 将去除重复行的数据输出到excel表中
    dk.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\温度new.xls")
    # 读取温度new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\温度new.xls", 'Sheet1'))


# 时间列只保留年月日格式
dk = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\温度new.xls') #打开表格
dk['时间'] = pd.to_datetime(dk['时间']).dt.date
# 删除未命名列
dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
dk.to_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\温度new.xls')

#---------------------------------------------------------------------------------
#获取2022年绕坝数据---------------------------------------------------------------------------------
data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test.xls')
# 搜索设计编号中等于L1、L2、R1、R2开头的值
FF = data.loc[(data['设计编号'] == "L1") | (data['设计编号'] == "L2") | (data['设计编号'] == "R1") | (data['设计编号'] == "R2")]

FF['时间'] = pd.to_datetime(FF['时间']).dt.date

print(FF)
FF.to_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls')

# 读取Excel中Sheet1中的数据
data = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls", 'Sheet1'))

# 查看去除重复行的数据，保留最后出现的值
no_re_row = data.drop_duplicates(subset=['时间','设计编号'], keep='last')
no_re_row['时间'] = pd.to_datetime(no_re_row['时间']).dt.date
#删除未命名列
no_re_row = no_re_row[no_re_row.columns.drop(list(no_re_row.filter(regex='Unnamed')))]
# 将去除重复行的数据输出到excel表中
no_re_row.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\绕坝.xls")
#---------------------------------------------------------------------------------
data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\绕坝.xls') #打开表格
#根据设计编号进行分组求和
a = data.groupby('设计编号').sum()
#根据设计编号进行分组求和数据写入临时表ls.xls中
a.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls")
#从临时表ls.xls中读取数据
data1 = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls')
#从临时表ls.xls中读取设计编号列的数据并转化成list
sjbh = list(data1['设计编号'])
#获取设计编号筛选文本个数
i = len(sjbh)
#遍历获取设计编号文本
k = 0
dk = pd.DataFrame()
while k < i:
    #print(sjbh[k])
    FF = data.loc[data['设计编号'] == sjbh[k]]  # 搜索设计编号中等于sjbh[k]开头的数据
    FF.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=False)
    k = k+1
    bb = pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", 'Sheet1')
    #获取FF表格中需要获取的列数据
    df = pd.DataFrame({"时间": list(bb["时间"]), "设计编号": list(bb["设计编号"]), "绕坝值": list(bb["模数值"])})
    df["时间"] = df["时间"].astype("datetime64")  # 确保数据格式为日期
    date_range = pd.date_range(start=s_date, end=e_date, freq="D")  # freq="D"表示按天，可以按分钟，月，季度，年等
    df_date_new = df.set_index("时间").reindex(index=date_range)  # 使用pandas.reindex填充缺失的索引

    df_date_new.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=True, index_label="时间")

    data_new = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls')  # 打开表格

    df_all = pd.concat([dk, data_new], ignore_index=False)  # concat 合并有相同字段名的dataframe
    print(df_all)
    data_list = df_all.drop_duplicates(keep='first')  # 避免字段名重复写入，一般会做去重处理
    df_all.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\绕坝new.xls")  # 写出数据
    # 读取绕坝new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\绕坝new.xls", 'Sheet1'))
    # 删除未命名列
    dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
    # 将去除重复行的数据输出到excel表中
    dk.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\绕坝new.xls")
    # 读取绕坝new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\绕坝new.xls", 'Sheet1'))


# 时间列只保留年月日格式
dk = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\绕坝new.xls') #打开表格
dk['时间'] = pd.to_datetime(dk['时间']).dt.date
# 删除未命名列
dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
dk.to_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\绕坝new.xls')

print("-----------第一个表格数据结束----------------------")

print("-----------开始进行处理第二个表格数据----------------------")


#获取2022年位移数据---------------------------------------------------------------------------------
data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test1.xls')
# 搜索设计编号中等于J开头的值
FF = data.loc[data['设计编号'].str.startswith('TP') | data['设计编号'].str.startswith('DC')]

FF['时间'] = pd.to_datetime(FF['时间']).dt.date

print(FF)
FF.to_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls')

# 读取Excel中Sheet1中的数据
data = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls", 'Sheet1'))

# 查看去除重复行的数据，保留最后出现的值
no_re_row = data.drop_duplicates(subset=['时间','设计编号'], keep='last')
no_re_row['时间'] = pd.to_datetime(no_re_row['时间']).dt.date
#删除未命名列
no_re_row = no_re_row[no_re_row.columns.drop(list(no_re_row.filter(regex='Unnamed')))]
# 将去除重复行的数据输出到excel表中
no_re_row.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\位移.xls")


data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\位移.xls') #打开表格
#根据设计编号进行分组求和
a = data.groupby('设计编号').sum()
#根据设计编号进行分组求和数据写入临时表ls.xls中
a.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls")
#从临时表ls.xls中读取数据
data1 = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls')
#从临时表ls.xls中读取设计编号列的数据并转化成list
sjbh = list(data1['设计编号'])
#获取设计编号筛选文本个数
i = len(sjbh)
#遍历获取设计编号文本
k = 0
dk = pd.DataFrame()
while k < i:
    #print(sjbh[k])
    FF = data.loc[data['设计编号'] == sjbh[k]]  # 搜索设计编号中等于sjbh[k]开头的数据
    FF.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=False)
    k = k+1
    bb = pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", 'Sheet1')
    #获取FF表格中需要获取的列数据
    df = pd.DataFrame({"时间": list(bb["时间"]), "设计编号": list(bb["设计编号"]), "模数值": list(bb["模数值"])})
    df["时间"] = df["时间"].astype("datetime64")  # 确保数据格式为日期
    date_range = pd.date_range(start=s_date, end=e_date, freq="D")  # freq="D"表示按天，可以按分钟，月，季度，年等
    df_date_new = df.set_index("时间").reindex(index=date_range)  # 使用pandas.reindex填充缺失的索引

    df_date_new.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=True, index_label="时间")

    data_new = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls')  # 打开表格

    df_all = pd.concat([dk, data_new], ignore_index=False)  # concat 合并有相同字段名的dataframe
    print(df_all)
    data_list = df_all.drop_duplicates(keep='first')  # 避免字段名重复写入，一般会做去重处理
    df_all.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\位移new.xls")  # 写出数据
    # 读取温度new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\位移new.xls", 'Sheet1'))
    # 删除未命名列
    dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
    # 将去除重复行的数据输出到excel表中
    dk.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\位移new.xls")
    # 读取温度new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\位移new.xls", 'Sheet1'))


# 时间列只保留年月日格式
dk = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\位移new.xls') #打开表格
dk['时间'] = pd.to_datetime(dk['时间']).dt.date
# 删除未命名列
dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
dk.to_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\位移new.xls')

#---------------------------------------------------------------------------------
#获取2022年沉降数据---------------------------------------------------------------------------------
data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test1.xls')
# 搜索设计编号中等于J开头的值
FF = data.loc[data['设计编号'].str.startswith('LD') ]

FF['时间'] = pd.to_datetime(FF['时间']).dt.date

print(FF)
FF.to_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls')

# 读取Excel中Sheet1中的数据
data = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls", 'Sheet1'))

# 查看去除重复行的数据，保留最后出现的值
no_re_row = data.drop_duplicates(subset=['时间','设计编号'], keep='last')
no_re_row['时间'] = pd.to_datetime(no_re_row['时间']).dt.date
#删除未命名列
no_re_row = no_re_row[no_re_row.columns.drop(list(no_re_row.filter(regex='Unnamed')))]
# 将去除重复行的数据输出到excel表中
no_re_row.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\沉降.xls")


data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\沉降.xls') #打开表格
#根据设计编号进行分组求和
a = data.groupby('设计编号').sum()
#根据设计编号进行分组求和数据写入临时表ls.xls中
a.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls")
#从临时表ls.xls中读取数据
data1 = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls')
#从临时表ls.xls中读取设计编号列的数据并转化成list
sjbh = list(data1['设计编号'])
#获取设计编号筛选文本个数
i = len(sjbh)
#遍历获取设计编号文本
k = 0
dk = pd.DataFrame()
while k < i:
    #print(sjbh[k])
    FF = data.loc[data['设计编号'] == sjbh[k]]  # 搜索设计编号中等于sjbh[k]开头的数据
    FF.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=False)
    k = k+1
    bb = pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", 'Sheet1')
    #获取FF表格中需要获取的列数据
    df = pd.DataFrame({"时间": list(bb["时间"]), "设计编号": list(bb["设计编号"]), "模数值": list(bb["模数值"])})
    df["时间"] = df["时间"].astype("datetime64")  # 确保数据格式为日期
    date_range = pd.date_range(start=s_date, end=e_date, freq="D")  # freq="D"表示按天，可以按分钟，月，季度，年等
    df_date_new = df.set_index("时间").reindex(index=date_range)  # 使用pandas.reindex填充缺失的索引

    df_date_new.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=True, index_label="时间")

    data_new = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls')  # 打开表格

    df_all = pd.concat([dk, data_new], ignore_index=False)  # concat 合并有相同字段名的dataframe
    print(df_all)
    data_list = df_all.drop_duplicates(keep='first')  # 避免字段名重复写入，一般会做去重处理
    df_all.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\沉降new.xls")  # 写出数据
    # 读取温度new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\沉降new.xls", 'Sheet1'))
    # 删除未命名列
    dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
    # 将去除重复行的数据输出到excel表中
    dk.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\沉降new.xls")
    # 读取温度new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\沉降new.xls", 'Sheet1'))


# 时间列只保留年月日格式
dk = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\沉降new.xls') #打开表格
dk['时间'] = pd.to_datetime(dk['时间']).dt.date
# 删除未命名列
dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
dk.to_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\沉降new.xls')
#---------------------------------------------------------------------------------
#获取2022年坝体渗流数据---------------------------------------------------------------------------------
data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test1.xls')
# 搜索设计编号中等于J开头的值
FF = data.loc[data['设计编号'].str.startswith('ZS') ]

FF['时间'] = pd.to_datetime(FF['时间']).dt.date

print(FF)
FF.to_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls')

# 读取Excel中Sheet1中的数据
data = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls", 'Sheet1'))

# 查看去除重复行的数据，保留最后出现的值
no_re_row = data.drop_duplicates(subset=['时间','设计编号'], keep='last')
no_re_row['时间'] = pd.to_datetime(no_re_row['时间']).dt.date
#删除未命名列
no_re_row = no_re_row[no_re_row.columns.drop(list(no_re_row.filter(regex='Unnamed')))]
# 将去除重复行的数据输出到excel表中
no_re_row.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\坝体渗流.xls")


data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\坝体渗流.xls') #打开表格
#根据设计编号进行分组求和
a = data.groupby('设计编号').sum()
#根据设计编号进行分组求和数据写入临时表ls.xls中
a.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls")
#从临时表ls.xls中读取数据
data1 = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls')
#从临时表ls.xls中读取设计编号列的数据并转化成list
sjbh = list(data1['设计编号'])
#获取设计编号筛选文本个数
i = len(sjbh)
#遍历获取设计编号文本
k = 0
dk = pd.DataFrame()
while k < i:
    #print(sjbh[k])
    FF = data.loc[data['设计编号'] == sjbh[k]]  # 搜索设计编号中等于sjbh[k]开头的数据
    FF.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=False)
    k = k+1
    bb = pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", 'Sheet1')
    #获取FF表格中需要获取的列数据
    df = pd.DataFrame({"时间": list(bb["时间"]), "设计编号": list(bb["设计编号"]), "模数值": list(bb["模数值"])})
    df["时间"] = df["时间"].astype("datetime64")  # 确保数据格式为日期
    date_range = pd.date_range(start=s_date, end=e_date, freq="D")  # freq="D"表示按天，可以按分钟，月，季度，年等
    df_date_new = df.set_index("时间").reindex(index=date_range)  # 使用pandas.reindex填充缺失的索引

    df_date_new.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=True, index_label="时间")

    data_new = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls')  # 打开表格

    df_all = pd.concat([dk, data_new], ignore_index=False)  # concat 合并有相同字段名的dataframe
    print(df_all)
    data_list = df_all.drop_duplicates(keep='first')  # 避免字段名重复写入，一般会做去重处理
    df_all.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\坝体渗流new.xls")  # 写出数据
    # 读取温度new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\坝体渗流new.xls", 'Sheet1'))
    # 删除未命名列
    dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
    # 将去除重复行的数据输出到excel表中
    dk.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\坝体渗流new.xls")
    # 读取温度new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\坝体渗流new.xls", 'Sheet1'))


# 时间列只保留年月日格式
dk = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\坝体渗流new.xls') #打开表格
dk['时间'] = pd.to_datetime(dk['时间']).dt.date
# 删除未命名列
dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
dk.to_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\坝体渗流new.xls')
#----------------------------------------------------------------------------------------------------------
#获取2022年LE数值数据---------------------------------------------------------------------------------
data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\test1.xls')
# 搜索设计编号中等于J开头的值
FF = data.loc[data['设计编号'].str.startswith('LE') ]

FF['时间'] = pd.to_datetime(FF['时间']).dt.date

print(FF)
FF.to_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls')

# 读取Excel中Sheet1中的数据
data = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\B.xls", 'Sheet1'))

# 查看去除重复行的数据，保留最后出现的值
no_re_row = data.drop_duplicates(subset=['时间','设计编号'], keep='last')
no_re_row['时间'] = pd.to_datetime(no_re_row['时间']).dt.date
#删除未命名列
no_re_row = no_re_row[no_re_row.columns.drop(list(no_re_row.filter(regex='Unnamed')))]
# 将去除重复行的数据输出到excel表中
no_re_row.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\LE数值.xls")


data = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\LE数值.xls') #打开表格
#根据设计编号进行分组求和
a = data.groupby('设计编号').sum()
#根据设计编号进行分组求和数据写入临时表ls.xls中
a.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls")
#从临时表ls.xls中读取数据
data1 = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\ls.xls')
#从临时表ls.xls中读取设计编号列的数据并转化成list
sjbh = list(data1['设计编号'])
#获取设计编号筛选文本个数
i = len(sjbh)
#遍历获取设计编号文本
k = 0
dk = pd.DataFrame()
while k < i:
    #print(sjbh[k])
    FF = data.loc[data['设计编号'] == sjbh[k]]  # 搜索设计编号中等于sjbh[k]开头的数据
    FF.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=False)
    k = k+1
    bb = pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", 'Sheet1')
    #获取FF表格中需要获取的列数据
    df = pd.DataFrame({"时间": list(bb["时间"]), "设计编号": list(bb["设计编号"]), "模数值": list(bb["模数值"])})
    df["时间"] = df["时间"].astype("datetime64")  # 确保数据格式为日期
    date_range = pd.date_range(start=s_date, end=e_date, freq="D")  # freq="D"表示按天，可以按分钟，月，季度，年等
    df_date_new = df.set_index("时间").reindex(index=date_range)  # 使用pandas.reindex填充缺失的索引

    df_date_new.to_excel("C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls", index=True, index_label="时间")

    data_new = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\临时数据表格\\FF.xls')  # 打开表格

    df_all = pd.concat([dk, data_new], ignore_index=False)  # concat 合并有相同字段名的dataframe
    print(df_all)
    data_list = df_all.drop_duplicates(keep='first')  # 避免字段名重复写入，一般会做去重处理
    df_all.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\LE数值new.xls")  # 写出数据
    # 读取温度new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\LE数值new.xls", 'Sheet1'))
    # 删除未命名列
    dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
    # 将去除重复行的数据输出到excel表中
    dk.to_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\LE数值new.xls")
    # 读取温度new中Sheet1中的数据
    dk = pd.DataFrame(pd.read_excel("C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\LE数值new.xls", 'Sheet1'))


# 时间列只保留年月日格式
dk = pd.read_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\LE数值new.xls') #打开表格
dk['时间'] = pd.to_datetime(dk['时间']).dt.date
# 删除未命名列
dk = dk[dk.columns.drop(list(dk.filter(regex='Unnamed')))]
dk.to_excel('C:\\Users\\Thinkpad\\Desktop\\数据最终处理结果\\LE数值new.xls')
#--------------------------------------------------------------------------------------------------------------------------

print("-----------第二个表格数据结束----------------------")

数字化信息化智能化解决方案
关注
python对excel数据清洗_python数据清洗excel-阿里云开发者社区
weixin_39811478的博客
12-02 878
python清洗excel的数据还是很简单的这里就列举例子说一下这是原始数据，这里要处理的是地区和薪水两个字段。清洗前数据import xlrdimport codecsimport redef get_salary(salary):# 利用正则表达式提取月薪，把待遇规范成千/月的形式# 返回最低工资，最高工资的形式if '-' in salary: # 针对1-2万/月或者10-20万/年的情...
大话 Python：python 操作 excel 系列 -- 数据清洗
2401_84140409的博客
05-01 863
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
分享一个600块钱的Python私活单，金融Excel数据清洗
程序猿赵高的博客
10-21 1152
分享一个今年一月份接的一个价值600元的Python数据清洗的金融数据私单，细节确实是接单以来最为复杂的一个案例。废话不多说，给大家分享下整个案例的需求和实现过程。
机器学习:数据清洗流程及完整代码实现
mohanyelong的博客
09-06 1917
机器学习:数据清洗流程及完整代码实现
python对excel数据表进行数据清洗
itmsn的专栏
10-08 1787
当拿到excel表，使用python对excel操作前，第一件事情对excel表的数据进行数据清洗。数值是否有空值，是否有重复的数据，把以上2个问题解决完成以后，才是对数据真正操作的开始。4、数据清理完成，重新导出一个新的excel表。2、判断excel是否存在空值，校对并填充。3、删除excel表里面的重复项。1、使用pandans读取数据。
学习笔记(01):Python数据清洗实战-Excel文件读写
LH2017_的博客
02-07 249
本次课程主要以真实的电商数据为基础，通过Python详细的介绍了数据分析中的数据清洗阶段各种技巧和方法。
2024年最全大话 Python：python 操作 excel 系列 -- 数据清洗，高级面试题+解析
2401_84572928的博客
05-10 1385
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。工具都帮大家整理好了，安装就可直接上手！当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
遇到“脏乱差”的Excel数据怎么办？？利用Python规范Excel表格数据（数据清洗）
苟日新，日日新，又日新!!!
04-10 8888
本文章主要介绍利用Python去规范Excel表格数据，算得上是简单的数据清洗。有兴趣的可以一看，应该不会令你失望。还请各位大佬口下留情！！！
利用Python进行数据分析 原书第2版_python_数据分析_
10-02
《利用Python进行数据分析》是Wes McKinney所著的一本经典的数据分析书籍，特别是第二版，深受广大Python程序员和数据分析师的喜爱。这本书深入浅出地介绍了如何使用Python语言及其相关库进行高效的数据处理、探索和...
利用Python实现Excel的文件间的数据匹配功能
09-16
本文将深入探讨如何利用Python实现Excel文件间的数据匹配功能。首先，我们需要了解Excel中的MATCH函数，这是一个用于查找特定值在指定数组中的相对位置的函数。在Python中，我们可以使用pandas库来实现类似的功能。 ...
使用python将excel数据导入数据库过程详解
09-18
在Python编程中，有时我们需要将Excel数据导入到数据库进行存储和分析。本篇文章将详细介绍如何使用Python的`xlrd`库读取Excel文件，并利用`pymysql`库将数据插入到MySQL数据库中。 首先，确保已经安装了`xlrd`和`...
python数据清洗
07-22
本资源部分参考《干净的数据 ——数据清洗入门与实践》，但更多的都是个人撰写。
python excel数据清理
weixin_35752122的博客
02-10 2474
在 Python 中，可以使用第三方库，如 pandas 和 openpyxl 等来完成 Excel 数据清理。 例如，可以使用 pandas 库读取 Excel 文件，然后使用 DataFrame 的方法对数据进行清理，如删除缺失值、去重、替换值等。最后，可以将清理后的数据写回到 Excel 文件中。 具体示例如下： import pandas as pd # 读取 Excel 文件 df =...
python对excel数据清洗_【Python代替Excel】4：数据的清洗
weixin_39599342的博客
12-02 1534
准备工作：下载示例数据，提取码：tkqn 数据例子数据预览经过了数据读取、数据预览，接下来是要开始清洗数据了。今天涉及的清洗步骤有：格式修改、去除空格、替换、分列、合并。字符串格式→日期格式数据的Time列看似日期格式，但实际上是字符串格式。#导入库import datetimeimport pandas as pd#读取数据amazon_data = pd.read_excel(r'D:\dat...
记一个python处理excel数据清洗的实例
mostermoonsky的博客
08-13 2097
背景：公司2万多单订单被代理错误换单，只能根据地址根据相似度模糊匹配，传统的excel的vlookup等方法无法精准定位到准确的订单。 一，安装pip包 pip install xlrd 二、导入包引入对象,进行数据清洗 import xlrd book = xlrd.open_workbook('d:/test.xlsx') sheet1 = book.sheet_by_name('代理数据') sheet2 = book.sheet_by_name('内部数据') tag = 1 f
python笔记15_实例演练_处理excel进行数据清洗
m0_72766690的博客
05-29 1181
python应用
学习笔记（24):Python数据清洗实战入门-Excel文件读写
weixin_43504907的博客
09-28 141
本次课程主要以真实的电商数据为基础，通过Python详细的介绍了数据分析中的数据清洗阶段各种技巧和方法。
用Python处理Excel
PythonNewBeing
05-25 377
用Python处理Excel工具xlrd 读取EXCELxlwt 写入EXCELxlutils 将xlrd的workbook转化为xlwt的workbook安装方法：pip install关于xlrd的使用读取excel文件，使用open_workbook命令：import xlrd workbook = xlrd.open_workbook(文件所在路径) 打开excel下相应的工作表，使用 ...
第十二篇：复习python数据清洗
2302_76696304的博客
03-05 1622
写本文主要是为了分享我的学习过程，也是给自己记个笔记，哪里忘记了，回来再看一眼，也可以很快的回想起来
利用python对excel数据集清洗和预处理
最新发布
09-28
Python中有多种库可以用来清洗和预处理Excel数据集，最常用的是pandas库。以下是利用pandas进行Excel数据清洗和预处理的一些步骤： 1. **导入库**：首先，需要安装`pandas`库，通常使用`pip install pandas`命令。然后，在代码中导入`pandas`库，以及可能用于读取Excel文件的`openpyxl`或`xlrd`。 ```python import pandas as pd ``` 2. **加载数据**：使用`pd.read_excel()`函数读取Excel文件，传入文件名作为参数。 ```python df = pd.read_excel('example.xlsx') ``` 3. **检查和理解数据**：查看数据的基本信息，如列名、行数、缺失值等。 ```python print(df.head()) # 查看前几行 print(df.info()) # 显示数据描述统计 print(df.isnull().sum()) # 检查缺失值 ``` 4. **数据清洗**： - **处理缺失值**：可以选择删除含有缺失值的行或列（`dropna()`），填充缺失值（`fillna()`或`ffill/bfill()`）。 - **异常值检测**：通过统计分析识别离群值（outliers），并采取相应措施（例如替换为平均值或删除）。 - **标准化或编码**：对于分类变量，可以使用`get_dummies()`将类别转换为数值。 ```python df = df.dropna() # 删除缺失值 df['column_name'] = df['column_name'].fillna(value) # 填充缺失值 df = pd.get_dummies(df, columns=['category_column']) # 类别编码 ``` 5. **数据预处理**： - **转换数据类型**：如果需要，可以使用`astype()`函数改变数据类型。 - **分箱或归一化**：使用`pd.cut()`或sklearn库进行数据缩放。 ```python df['numeric_column'] = df['numeric_column'].astype('float64') # 转换数据类型 df[['bin_column']] = pd.cut(df['bin_column'], bins=5) # 分箱 ``` 6. **保存处理后的数据**：完成清洗和预处理后，可以使用`to_excel()`函数将结果保存回新的Excel文件。 ```python df.to_excel('preprocessed_data.xlsx', index=False) # 保存到新文件 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数字化信息化智能化解决方案

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值