11.数据清洗之数据表处理之数据整理

定义:

        在数据清洗过程中，很多时候需要将不用的数据整合在一起，方便后续的分析，这个过程也叫数据合并

合并方法：

        常见的合并方法有堆叠和按主键进行合并，堆叠又分为横向堆叠（不常见）和纵向堆叠（常见），按主键合并类似于sql里面的关联操作。

横向堆叠将两张表或多张表在X轴方向，即横向拼接在一起

纵向堆叠将两张表或多张表在Y轴方向，即纵向拼接在一起

注意使用concat时，axis=1用于横向，0代表纵向

注意jion取inner或者outer时，分别代表交集和并集

merge1=pd.concat([df1,df2],axis=1,join='inner')
merge1=pd.concat([df1,df2],axis=1,jion='outer')
order_merge=pd.concat([order1,order2,order3],axis=0,ignore_index=False)
order_merge.reset_index(inplace=True)

#导入库
import xlrd
workbook=xlrd.open_workbook('meal_order_detail.xlsx')
sheet_name=workbook.sheet_names()#输出工作表的名称
sheet_name

#分别读取三个表
order1=pd.read_excel('your excel name',sheet_name='your tabel name1')
order2=pd.read_excel('your excel name',sheet_name='your tabel name2')
order3=pd.read_excel('your excel name',sheet_name='your tabel name3')
#ignore_index=True 将三个表的行索引合并排序,或者order.reset_index()
order=pd.concat([order1,order2,order3],axis=0,ignore_index=True)
order.head(5)

basic=pd.DataFrame()
for i in shee_name:
    basic_i=pd.read_excel('your excel name',sheet_name=i)
    basic=pd.concat([basic,basic_i],axis=0,ignore_index=True)


df=pd.read_csv('baby_trade_history.csv',dtype={'user_id':str})
df1=pd.read_csv('sam_trade_history.csv',dtype={'user_id':str})
#两个表关联 merge()方法，两个表的数据类型要保持一致
df2=pd.merge(left=df,right=df1,how='inner',left_on='user_id',right='user_id')