实战py - 节2：采用numpy、pandas进行数据整理及清洗

现有3张表，表结构如下：

• 数据级联，合并，清洗；
• 查看各个品类的交易次数、交易金额；
• 查看每天每个品类的交易金额；
• 查看交易人员地域为北京,不同商品品类的购买次数；
• 查找交易金额最大的一条数据

import numpy as np
import pandas as pd
import os

# 读取数据
spu_order_1 = pd.read_excel('./spu_order_1.xlsx') 
#对于文件比较多的情况下，可以采用第三方模块“os”
root =  './' #根路径
dirname = os.listdir(root) #查看目录下的所有文件
xlsx_df = "" #xlsx数据池
csv_list = [] #csv数据池
for fname in dirname:
    fpath = os.path.join(root,fname)
    if fname.endswith('.csv'):
        print('csv格式文件的读取')
        csv_list.append( pd.read_csv(fpath,index_col=0) )
    elif fname.endswith('.xlsx'):
        print(f'{fname} xlsx格式文件的读取') #'{} xlsx格式文件的读取'.format(fname)
        xlsx_df = pd.read_excel(fpath,index_col=0)
    else:
        print('其他文件')
        


#数据级联，合并，清洗
merge1 = pd.concat(csv_list, ignore_index=True) #级联csv文件，忽略原索引，索引重排
merge2 = pd.merge(left=merge1,right=xlsx_df,how='left',left_on=id,right_on=spu_id) #合并
merge2.isnull().any(axis=0) #查看列是否有空值
merge2.info() #查看各个列的数据类型，occur_date列为对象(字符串)类型
pd.to_datetime('2022-01-01') #可将字符串格式的日期转为时间戳，前提格式标准
#例如现在格式“20-六月-11”，而‘20-SEP-11’是一个标准格式字符串
month_dict = {'一月':1, '二月':2, '三月':3, '四月':4, '五月':5, '六月':6}
def trans_string_date(x):
    if isinstance(x,str): #判断x是否为字符串
        day1,month1,year1 = x.split('-')
        return '20%d-%d-%d'%(int(year1), int(month_dict[month1]), int(day1))
occur_date1 = merge2[occur_date].map(trans_string_date) #映射为标准时间格式字符串
merge2['occur_date'] = pd.to_datetime(occur_date1) #重新写入dataframe
#可以按照时间列进行排序
merge2.sort_values(by='occur_date', ascending=True, inplace=True) #升序排序，并写入内存



#查看各个品类的交易次数、交易金额
data1 = merge2['category_name'].value_counts()
data2 = merge2.groupby('category_name')['amount'].sum()

#查看每天每个品类的交易金额
data3 = merge2.groupby(by=['occur_date','category_name'])['amount'].sum() #类Series格式
data4 = data3.unstack() #行索引转为列索引，形成交叉表格式
data4 = data4.fillna(value=0.0) #交叉表的空值设置为0

#查看交易人员地域为北京,不同商品品类的购买次数
con = user_region == '北京'
data5 = merge2.loc[con,category_name].value_counts()
data5.reset_index() #将第一列转为索引

#查找交易金额最大的一条数据
max_amount = merge2.amount.max()
condition = merge2.amount == max_amount
data6 = merge2.loc[condition]
data7 = merge2.query('merge2.amount == %f'%(max_amount)) #格式化运算符