dataframe处理数据、删除dataframe中的某列、查看dataframe某列是否有空值，查看dataframe中某一列有多少不一样的值，中“时间列”仅保留年月，根据自定义分组

一、删除dataframe中的某列

# 从csv中获取dataframe数据
import pandas as pd
df = pd.read_csv('./XXX_data.csv', sep='\t')
df.head()

df = df.drop(['customerID','用户ID','种类','Unnamed: 26'],axis = 1)
print(df.shape[0])

• drop()函数中的 axis =1 不写的话 是会报错的

二、查看dataframe各列是否有空值

 num = df.isna().sum()
 print("目前存在空值的情况有：")
 print(num)

三、查看dataframe中某一列有多少不一样的值

#查看dataframe-列A中有多少不同的值？ 返回数字
print("列A一共有多少个不同的值：",df['列A'].nunique())
# e.g. 列A一共有多少个不同的值: 892

#查看dataframe-列A中有多少不同的值 返回  <class 'numpy.ndarray'>
print("列A一共有多少个不同的值：",df['列A'].unique())
# e.g. 列A一共有多少个不同的值: ['值A','值B','值D','值E',]

#查看dataframe-列A中有多少不同的值 返回dict
dict_age = df['年龄'].value_counts().to_dict()
print(sorted(dict_age.items())) # sorted 进行排序
# e.g. [(30.0, 11), (31.0, 14), (33.0, 5)]

四、dataframe 去除某一列包含某值/某条件的行

1. 去除dataframe中 “列B”中包含值 0 的行

df = df[~df['列B'].isin([0])] # [0] 这块可以是数组 有多个值

2. 去除dataframe中 不满足某个条件的行 e.g. 仅保留dataframe中 年龄大于18 小于110的行

df = df[(df['年龄']>=18) & (df['年龄(岁)']< 110)]

五、dataframe中“时间列”仅保留年月

• dt.year dt.month 这种方式仅仅能之前具体的时间分别转化为 年 和 月

# 转时间格式
# df['下单时间'] 的数据格式为 object ，数据内容为“2010年11月11日 9:01”
df['下单时间'] = pd.to_datetime(df['下单时间'], format='%Y/%m/%d %H:%M:%S')

# 获取时间年、月、日、时、分
# 
df['时间_年'] = df['下单时间'].dt.year
df['时间_月'] = df['下单时间'].dt.month

• dt.strftime(‘%Y%m’) 这种方式能够自定义保留的特征，本例子中保留年月

df['时间_年月'] = df['下单时间'].dt.strftime('%Y%m')
# df['时间_年月'] 的数据内容为 201011

六、dataframe中根据自定义分组groupby分组

• 统计 以“时间年月" 为分组，每组有多少订单ID

df.groupby(['时间_年月'])['订单ID'].size().reset_index(name = "订单count")

• 统计 以’年龄列"为分组，不同年龄段的订单数
• df.apply(get_age_group,axis = 1)

def get_age_group(row):
    if (row['年龄(岁)'] >= 18) & (row['年龄(岁)'] < 38):
        return "(18,38)"
    elif (row['年龄(岁)'] >= 38) & (row['年龄(岁)'] < 58):
        return "(38,58)"
    elif (row['年龄(岁)'] >= 58) & (row['年龄(岁)'] < 78):
        return "(58,78)"
    elif (row['年龄(岁)'] >= 78):
        return "(78,+)"

df['年龄组'] = df.apply(get_age_group,axis = 1)

七、 删除dataframe中某列值仅出现一次的行

# 获取 用户ID 列 有多少不同的用户ID
d = pd.DataFrame(df_user_new['用户ID'].value_counts())
# d 返回的数据类型  <class 'pandas.core.frame.DataFrame'> 第一列是用户ID 第二列是这个ID的出现次数
#           用户ID
#100000001       4
#100000005       3
#100000007       3
# 获取这些 只有一次的index
d = d[d['用户ID'] == 1]
delindexs = d.index
# print(len(delindexs)) # 只有1次的数据
df_user_new = df_user_new[~df_user_new['用户ID'].isin(delindexs)]