3、多csv宽表联合整理成csv大宽表

目录

1、导入包

2、导入文件路径

知识点:


1、导入包

import numpy as np
import pandas as pd
import os

2、导入文件路径

lujing="C:/Users/S/Desktop/不同数据集U_RATIO(BP)/3CleanData--csv整理宽表"
lujing1="C:/Users/S/Desktop/不同数据集U_RATIO(BP)/3CleanData--csv整理宽表/2.csv"
df1=pd.read_csv(lujing1,encoding='utf8')
df1

3、用merge()函数整合

for root,dirs,files in os.walk(lujing):
    for file in files:
        #print(file)
        if file != '2.csv':
            path = os.path.join(root,file)
            df=pd.read_csv(path,encoding='utf8')
            df1=df1.merge(df,on=['LOT','WAFER','U_RATIO'],how='inner')
            #print(df2)
df1.to_csv("C:/Users/S/Desktop/不同数据集U_RATIO(BP)/大宽表.csv",index=False,encoding = 'utf_8_sig')

知识点:

df2=df1.merge(df,on=['LOT','WAFER','U_RATIO'],how='inner')

把df1和df按照['LOT','WAFER','U_RATIO']进行合并

将多个csv文件导入到Oracle数据库的同一表中,可以通过以下步骤完。 首先,需要创建一个csv文件结构相匹配的表格。在Oracle数据库中,使用CREATE TABLE语句可以创建一个新表,其中包含与csv文件相同的列和数据类型。 接下来,使用Oracle SQL*Loader或者SQL Developer等工具,将csv文件中的数据加载到新创建的表中。通过SQL*Loader工具,可以使用控制文件来描述csv文件的格式和数据分隔符等信息,然后使用SQL*Loader命令加载数据。如果使用SQL Developer,可以通过数据导入向导来完数据加载的操作。 第三步,可以通过编写PL/SQL存储过程或者使用外部表等方式,将多个csv文件的数据整合到同一表中。可以通过编写脚本来实现自动化的数据导入,并确保数据的一致性和完整性。 在导入过程中,需要注意处理csv文件中的数据质量问题,如重复数据、缺失值、数据格式不匹配等。可以通过数据清洗、转换和验证等方式,确保导入的数据质量。 最后,完数据导入后,可以通过查询和分析工具来验证导入的数据是否准确,并对需要调整或修正的数据进行处理。 总之,将多个csv文件导入到Oracle数据库的同一表中需要创建表格、加载数据、整合数据、处理质量问题和验证数据准确性等步骤,可以通过SQL*Loader、SQL Developer、PL/SQL存储过程等方式来完
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值