python 按指定字符删除数据

"""
数据清洗
"""

import pandas as pd
import numpy as np
def wu(x,y,z):
    df=pd.read_excel(x)
    df2=df.groupby(by=y,as_index=False).sum() #数据分组求和
    df2[y]=df2[y].map(lambda x:str(x)[3:]) #除去某列前面前三个字符
    df2[y][df2[y].str.contains('unclassified')]='Unknown' #把 某列中出现 unclassified的数据全面重新命名
    df2[y][df2[y].str.contains('uncultured')]='Unknown'
    df2[y][df2[y].str.contains('norank')]='Unknown'
    df3=df2.groupby(by=y,as_index=False).sum() 
    # df3['Genus']=df3['Genus'].map(lambda x:str(x)[3:])
    df7=df3[df3[y]=='Unknown'] 
    df3.drop(df3[df3[y]=='Unknown'].index,inplace=True) #根据指定要求删除数据
    df6=df3.sort_values(by='SUM', ascending=False)[:20]
    df5=df3.sort_values(by='SUM', ascending=False)[20:]
    df5[y] = 'Other'
    df5=df5.groupby(by=y,as_index=False).sum()
    df4=pd.concat([df6,df7,df5]).T #合并表格
    df4.reset_index(inplace=True)
    df4.set_axis(df4.iloc[0],axis=1,inplace=True)   #定义新的 index 
    df4.drop(index=0,inplace=True)
    dr={'CB1_1':'BM','CB1_2':'BM',"CB1_3":'BM','CQ1_1':'QM','CQ1_2':'QM',
        'CQB1_1':'QBM','CQB1_3':'QBM','HB2_1':'BM','HB2_2':'BM',
        'HB2_3':'BM','HQ2_1':'QM','HQ2_2':'QM','HQB2_1':'QBM','HQB2_2':'QBM'}
    df4['ID']=df4[y].map(dr)
    df4.drop(index=df4.index[-1], inplace=True)  
    return df4.to_excel(z+y+'.xlsx',index=None)

name = ['Phylum','Order','Genus','Species']
x = 'f://OTU.xls'
z = 'f://'
for y in name:
    print(y)
    wu(x,y,z)
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值