机器学习基础——模型的加载和保持、逻辑回归

目录

1 模型的加载和保存

1.1 保存

1.2 加载

1.3 代码实现

2 逻辑回归

2.1 特点

2.2 损失函数、优化 

2.2.1 损失函数计算

2.2.2对数似然损失计算 

2.2.3 梯度下降法优化

3 逻辑回归API

4 逻辑回归预测癌症案例

4.1 数据介绍

4.2 处理数据

4.3 建立模型

4.4 运行结果和准确率及召回率

5 总结

5.1 优点

5.2 缺点

6 逻辑回归和朴素贝叶斯的区别

1 模型的加载和保存

1.1 保存

• joblib.dump(rf,"test.pkl")

1.2 加载

• estimator=joblib.load("test.pkl"）

1.3 代码实现

• fit之后再进行模型的保存
• 加载的模型也有.predict函数也可以进行预测 

 #正规方程求解方程式预测结果
    lr=LinearRegression()
    lr.fit(x_train,y_train)
    print("这里是回归系数：",lr.coef_)
    #保存训练好的模型
    joblib.dump(lr,"./tmp/test.pkl")
   #预测房价结构或
    model=oblib.load("./tmp/test.pkl")
    y_predict=std_y.inverse_transform(model.predict(x_test))
    print("保存的模型的预测结果：",y_prerdict)

2 逻辑回归

2.1 特点

• 线性回归的式子作为输入 
• 二分类
• 能获得出概率值
• sigmoid函数输出[0,1]区间的概率值，默认0.5作为阀值（>0.5看成1，<0.5看成0)

Sigmoid

2.2 损失函数、优化 

2.2.1 损失函数计算

2.2.2对数似然损失计算 

真实二分类值:[1,0,0,1]

阈值：0.5

属于1的概率：[0.6,0.1,0.51,0.7] 

判断的二分类值：[1,0,1,1]

损失值：1log(0.6)+0log(0.1)+0log(0.51)+1log(0.7)

2.2.3 梯度下降法优化

• 均方误差的损失函数只有一个最小值，而对数似然函数的最小值有多个，所以有局部最小值
• 这是目前解决不了的问题
• 优化的方法是梯度下降法
• 尽量改善的方法：1、多次随机初始化，多次比较最小结果  2、求解过程中，调整学习率
• 尽管没有全局最低点，但是机器学习的效果还是很好的