Datawhale开源内容:https://datawhalechina.github.io/joyful-pandas/build/html/%E7%9B%AE%E5%BD%95/ch7.html
本次的学习内容习题对于我目前来说稍微有些难,故本文暂时只是记录下一些知识点,以及习题参考答案的解答。
第二题:用回归模型解决分类问题
第一问:对于回归问题而言,需要得到的是一个具体的数值,因此预测值由最近的n个样本对应的平均值获得。用KNeighborsRegressor 来完成KNeighborClassifier 功能。
from sklearn.neighbors import KNeighborsRegressor
df_dummies = pd.get_dummies(df.Color)
df_dummies
stack_list=[]
for col in df_dummies.columns:
clf = KNeighborsRegressor(n_neighbors=6)
clf.fit(df.iloc[:,:2], df_dummies[col])
res = clf.predict([[0.8, -0.2]]).reshape(-1,1)
stack_list.append(res)
code_res = pd.Series(np.hstack(stack_list).argmax(1))
df_dummies.columns[code_res[0]]
【回顾知识】:
get_dummies 是用于特征构建的重要函数之一,其作用是把类别特征转为指示变量。
pd.get_dummies(df.Color)
每个样本对应颜色的位置为1,否则为0。
第二问:请根据第一问的方法,对audit 数据集中的Employment 变量进行缺失值插补。
df1 = pd.read_csv('joyful-pandas-master/data/audit.csv')
df1
res_df = df1.copy()
df1 = pd.concat([pd.get_dummies(df1[['Marital','Gender']]),
df1[['Age','Income','Hours']].apply(
lambda x:(x-x.min())/(x.max()-x.min())), df1.Employment],1)
X_train = df1.query('Employment.notna()')
X_test = df1.query('Employment.isna()')
df_dummies = pd.get_dummies(X_train.Employment)
stack_list=[]
for col in df_dummies.columns:
clf = KNeighborsRegressor(n_neighbors=6)
clf.fit(X_train.iloc[:,:-1], df_dummies[col])
res = clf.predict(X_test.iloc[:,:-1]).reshape(-1,1)
stack_list.append(res)
code_res = pd.Series(np.hstack(stack_list).argmax(1))
cat_res = code_res.replace(dict(zip(list(
range(df_dummies.shape[0])), df_dummies.columns)))
res_df.loc[res_df.Employment.isna(), 'Employment'] = cat_res.values
res_df.isna().sum()