keras模型 鸾尾花数据集_机器学习-3 鸢尾花数据集特征工程

# 鸢尾花数据集
* 特征工程
* 特征排序
* 设置n_features_to_select参数分别是1到5，在参数是大于等4以后的特征排名都是[1 1 1 1]
1 [4 2 3 1]
2 [3 1 2 1]
3 [2 1 1 1]
4 [1 1 1 1]
5 [1 1 1 1]
```
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris
iris = load_iris()
#递归特征消除法，返回特征选择后的数据
#递归特征消除法
#递归消除特征法使用一个基模型来进行多轮训练，每轮训练后，消除若干权值系数的特征，再基于新的特征集进行下一轮训练。使用feature_selection库的RFE类来选择特征的代码如下：
#参数estimator为基模型
#参数n_features_to_select为选择的特征个数
print(iris['DESCR'])
selector = RFE(estimator=LogisticRegression(), n_features_to_select=9).fit(iris.data, iris.target)
data = selector.transform(iris.data)
# print(data[0:5])
print(selector.ranking_)
```
* 可视化
* 通过matlpotlib绘制y=x*x*x + 10函数。

```
import matplotlib.pyplot as plt
import numpy as np
x = np.linspace(-1, 1, 50)
y = x*x*x + 10
plt.plot(x, y)
plt.show()
```
* 可视化
* 绘制散点图，设置X = np.linspace(-2, 2, 20)，Y = 2 * X + 1。绘制散点图。

```
import matplotlib.pyplot as plt
import numpy as np
X = np.linspace(-2, 2, 20)
Y = 2 * X + 1
plt.scatter(X, Y)
plt.show()
```
* 使用鸢尾花数据集
* 分析4个特征统计信息和状况，iris['DESCR']查看数据的统计信息

* 通过最近邻（KNN）分类器,设置k = 5。预测花种类，尝试使用特征扩展或特征选择方式提升预测评分
* （1）对数据data进行预处理，使用GBDT
a、使用标准化，预测正确率为0.9642857142857143
b、使用区间缩放，预测正确率为0.9642857142857143
c、使用二值化，预测正确率为0.625
d、使用哑编码，预测正确率为0.9642857142857143
* 特征选择
a、使用GBDT，预测正确率为0.9553571428571429
b、使用RFE，预测正确率为0.9553571428571429
c、使用卡方检验，预测正确率为0.9642857142857143
-------------