用XGBoost 做特征选择，遇到的问题及解决办法。Matplotlib is currently using agg, which is a non-GUI。

用机器学习做kaggle 房价预测时，特征工程后的特征有三百多个，要降维，决定用XGBoostregressor .由于特征太多在后面可视化遇到了些问题，先说一下我特征选择的大致过程，再说遇到的问题

• 代码如下

import xgboost as xgb
from xgboost import XGBRegressor
model = XGBRegressor()
model = model.fit(x_train, y_train, verbose=2)
#model.feature_importances_ 是一个array,里面是特征重要程度得分
# 我们要把 feature_importances 和他对应的特征名关联上
# 于是把 feature_importances 转为DF格式
importance = pd.DataFrame({"Feature Importance":model.feature_importances_}, index=all_data.drop(["SalePrice"],axis=1).columns) 
#get_fscore() 也可以得到特征重要程度得分

import matplotlib
import matplotlib.pyplot as plt
importance.sort_values("Feature Importance",ascending=False).round(5)   
## 获取重要程度不等于0的系数指标
importance[importance["Feature Importance"] !=0 ].sort_values("Feature Importance").plot(kind="barh",figsize=(12,40), color='g')
plt.xticks(rotation=90)

# 最后特征选择的是那些得分不等于0的特征，这个可以自行设定
XG_index = importance[importance["Feature Importance"] !=0 ].index
XG_val = importance[importance["Feature Importance"] !=0 ].values
importance = pd.DataFrame(XG_val, columns = ['Feature Importance'], index = XG_index)

# 看一下选择后的特征大小
display(importance.shape)

# 再排个序看看
importance.sort_values("Feature Importance",ascending=False).round(5)

# 最后获得由选择后的特征构成的数据集
choose_cols = importance.index.tolist()
choose_cols.append("SalePrice")
choose_data = all_data[choose_cols].copy()

• 遇到的问题：最开始使用plot_importance 出问题，发现特征排序的图显示不出来，出现警告⚠️,Matplotlib is currently using agg, which is a non-GUI
• 解决方法1⃣️，导入matplotlib 时加上

• import matplotlib
  matplotlib.use('TkAgg')
  import matplotlib.pyplot as plt

• 但是这样，虽然没有错误警告，图还是画不出来，jupyter 的内核还崩了，我想应该是特征太多了的原因，三百多个。于是放弃用plot_importance
• 先把重要的特征筛选出来了再可视化（代码见最开始）