#列的行数小于index的行数的说明有缺失值,这里客户名称329<335>
需求:用0填充缺失值或则删除有客户编码缺失值的行。实际上缺失值处理的办法是很复杂的,这里只介绍简单的处理方法,若是数值变量,最常用平均数或中位数或众数处理,比较复杂的可以用随机森林模型根据其他维度去预测结果填充。若是分类变量,根据业务逻辑去填充准确性比较高。比如这里的需求填充客户名称缺失值:就可以根据存货分类出现频率最大的存货所对应的客户名称去填充。
这里我们用简单的处理办法:用0填充缺失值或则删除有客户编码缺失值的行。#用0填充缺失值
sale["客户名称"]=sale["客户名称"].fillna(0)
#删除有客户编码缺失值的行
sale.dropna(subset=["客户编码"])
六、多条件筛选
需求:想知道业务员张爱,在北京区域卖的商品订单金额大于6000的信息。sale.loc[(sale["地区名称"]=="北京")&(sale["业务员名称"]=="张爱")&(sale["订单金额"]>5000)]
七、 模糊筛选数据
需求:筛选存货名称含有"三星"或则含有"索尼"的信息。sale.loc[sale["存货名称"].str.contains("三星|索尼")]
八、分类汇总
需求:北京区域各业务员的利润总额。sale.groupby(["地区名称","业务员名称"])["利润"].sum()
九、条件计算
需求:存货名称含“三星字眼”并且税费高于1000的订单有几个?这些订单的利润总和和平均利润是多少?(或者最小值,最大值,四分位数,标注差)sale.loc[sale["存货名称"].str.contains("三星")&(sale["税费"]>=1000)][["订单明细号","利润"]].describe()
十、删除数据间的空格
需求:删除存货名称两边的空格。sale["存货名称"].map(lambda s :s.strip(""))
十一、数据分列
需求:将日期与时间分列。sale=pd.merge(sale,pd.DataFrame(sale["单据日期"].str.split(" ",expand=True)),how="inner",left_index=True,right_index=True)
十二、异常值替换
首先用describe()函数简单查看一下数据有无异常值。#可看到销项税有负数,一般不会有这种情况,视它为异常值。
sale.describe()
需求:用0代替异常值。sale["订单金额"]=sale["订单金额"].replace(min(sale["订单金额"]),0)
十三、分组
需求:根据利润数据分布把地区分组为:"较差","中等","较好","非常好"
首先,当然是查看利润的数据分布呀,这里我们采用四分位数去判断。sale.groupby("地区名称")["利润"].sum().describe()
根据四分位数把地区总利润为[-9,7091]区间的分组为“较差”,(7091,10952]区间的分组为"中等"
(10952,17656]分组为较好,(17656,37556]分组为非常好。#先建立一个Dataframe
sale_area=pd.DataFrame(sale.groupby("地区名称")["利润"].sum()).reset_index()
#设置bins,和分组名称
bins=[-10,7091,10952,17656,37556]
groups=["较差","中等","较好","非常好"]
#使用cut分组
#sale_area["分组"]=pd.cut(sale_area["利润"],bins,labels=groups)
十四、根据业务逻辑定义标签
需求:销售利润率(即利润/订单金额)大于30%的商品信息并标记它为优质商品,小于5%为一般商品。sale.loc[(sale["利润"]/sale["订单金额"])>0.3,"label"]="优质商品"
sale.loc[(sale["利润"]/sale["订单金额"])<0>