『Python数据分析与挖掘实战』第五章：挖掘建模

# coding:utf-8
"""
logistic 回归， 自动建模
"""
import pandas as pd

# 参数初始化
filename = r"C:\learning\DataMining\Book\Python_DataMining\Data\chapter5\demo\data\bankloan.xls"
data = pd.read_excel(filename)
x = data.iloc[:, : 8].as_matrix()     # 此处的 [:, : 8] 的意思是，切片所有的行和 1- 8列的数据  # 此处的 as_matrix 函数是
# 将数据框数据结构转换为使用数组的数据结构
print "x: \n", x
y = data.iloc[:, 8].as_matrix()    # 此处的 [:, 8] 的意思是， 切片所有的行和第 9 列 ，注：这里的数字实际上是第 n 列 - 1
print "y: \n", y

from sklearn.linear_model import LogisticRegression as LR
from sklearn.linear_model import RandomizedLogisticRegression as RLR

rlr = RLR()    # 建立随机逻辑回归模型，筛选变量 # 可以使用参数设置阈值： selection_threshold = 0.5 等

rlr.fit(x, y)  # 训练模型
rlr.get_support()    # 获取特征筛选结果，也可以通过 .scoress_方法获取各个特征的分数
print u"通过随机逻辑回归模型筛选特征结束"
print u"有效特征为： %s " % ",".join(data.columns[rlr.get_support()])
x = data[data.columns[rlr.get_support()]].as_matrix()    # 筛选好特征

lr = LR()    # 建立逻辑回归模型
lr.fit(x, y)    # 用筛选后的特征数据来训练模型
print u"逻辑回归模型训练结束"
print u"模型的平均正确率为： %s" % lr.score(x, y)    # 给出模型的平均正确率， 本例为 81.4%

        逻辑回归本质上还是一种线性模型，因此这里的模型有效性检验本质上还是在做线性相关检验，因此，所筛选出来的变量，说明与结果具有比较强的相关性，然而被筛掉的变量不一定就跟结果没有关系，因为它们之间有可能是非线性关系。对于非线性关系的变量筛选方法有决策树、神经网络等。

        keras 中文文档：Keras 中文文档

        

# coding:utf-8
# 使用神经网络算法预测销量高低

import pandas as pd

# 参数初始化
inputfile = r"C:\learning\DataMining\Book\Python_DataMining\Data\chapter5\demo\data\sales_data.xls"
data = pd.read_excel(inputfile, index_col=u"序号")
print "data: \n", data

# 数据是类别标签，要将它转换为数据
# 用 1 来表示“好”， “是”， “高” 这 3 个属性，用 0 来表示“坏”， “否”， “低”
data[data == u"好"] = 1
data[data == u"是"] = 1
data[data == u"高"] = 1
data[data != 1] = 0
print "data_2: \n", data
print data.dtypes

x = data.iloc[:, : 3].as_matrix().astype(int)    # astype 函数将数据转换为指定类型
print "x: \n", x
print "len_x: ", len(x)
y = data.iloc[:, 3].as_matrix().astype(int)
print "y: \n", y
print "len_y: ", len(y)

from keras.models import Sequential
from keras.layers.core import Dense, Activation

model = Sequential()    # 建立模型
model.add(Dense(input_dim=3, output_dim=10))     # 添加 3 个输入节点， 10 个隐藏节点
model.add(Activation("relu"))    # 用 relu 函数作为激活函数，能够大幅提高准确度

model.add(Dense(output_dim=1))    # 添加一个输出节点
model.add(Activation("sigmoid"))    # 由于是 0-1 输出，用 sigmoid 函数作为激活函数

model.compile(loss="binary_crossentropy", optimizer="adam", class_mode="binary")
# 编译模型。由于我们做的是二元分类，所以我们指定损失函数为 binary_crossentropy, 以及模式为 binary
# 另外常见的损失函数还有 mean_squared_error、categorical_crossentropy 等，请阅读帮助文件
# 求解方法我们指定用 adam， 还有 sgd， rmsprop 等可选

model.fit(x, y, nb_epoch=1000, batch_size=10)    # 训练模型， 学习一千次
yp = model.predict_classes(x).reshape(len(y))    # 分类预测

from cm_plot import *     # 导入自行编写的混淆矩阵可视化函数
cm_plot(y, yp).show()

        需要注意的是，准确率只有 76.4，这是由于神经网络训练时需要较多样本，而这里是由于训练数据较少造成的

5.16

    模型预测效果评价，通常用相对/绝对误差、平均绝对误差、均方误差、均方根误差等指标来衡量

    均方误差中由于加大了数值大的误差在指标中的作用，从而提高了这个指标的灵敏性，是一大优点

    识别准确度：

    Accuracy = (TP + FN) / (TP + TN + FP + FN) * 100%

    式中各项说明如下：

    TP：正确的肯定表示正确肯定的分类数，即正确的被分类为正确

    TN：正确的否定表示正确否定的分类数，即错误的被分类为错误

    FP：错误的肯定表示错误肯定的分类数，即错误的被分类为正确

    FN：错误的否定表示错误否定的分类数，即正确的被分类为错误

    识别精确率：

    Precision = TP / (TP + FP) * 100%