机器学习——逻辑回归与K-means聚类

逻辑回归

线性回归的式子作为输入，利用sigmoid函数，得到概率值，解决二分类问题，概率大于0.5的归为第一类，否则归为另一类。
sigmoid函数：$g(z)=\frac{1}{1+e^{-z}}$，将输入映射到[0,1]上。

逻辑回归的损失函数
对数似然损失函数：
$$cost(h_{\theta }(x),y)=\sum _{i=1}^m-y_{i}log(h_{\theta }(x))-(1-y_i)(1-h_{\theta }(x))$$
cost损失的值越小，那么预测的类别准确率更高。逻辑回归同样会出现过拟合的情况，在API中有正则化的选项来解决这一问题。

sklearn逻辑回归API：sklearn.linear_model.LogisticRegression

• sklearn.linear_model.LogisticRegression(penalty=‘l2’, C=1.0)
  • Logistic回归器分类器
  • coef_：回归系数

其中penalty代表L2正则化，C=1.0代表正则系数。

注：逻辑回归需要对特征值进行标准化，目标值不需要

对于逻辑回归的损失函数，可能存在多个局部最小值，梯度下降法可能求不出全局最小值，解决方法有：
1、多次随机初始化，多次比较最小值结果；
2、求解过程当中，尽量调节学习率。

判别模型和生成模型的区别在于有无先验概率，判别模型包括：K-近邻，决策树，随机森林，神经网络，生成模型包括：朴素贝叶斯，隐马尔可夫模型

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import pandas as pd
import numpy as np

# 读取数据
column = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape',
          'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin', 'Normal Nucleoli',
          'Mitoses', 'Class']
data = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data", names = column)
# 处理缺失值
data = data.replace(to_replace = '?',value = np.nan)
data = data.dropna()

# 数据分割
x_train, x_test, y_train, y_test = train_test_split(data[column[1:10]], data[column[10]],test_size=0.25)

# 数据标准化处理
std = StandardScaler()
x_train = std.fit_transform(x_train)
x_test = std.transform(x_test)

# 逻辑回归
lg = LogisticRegression(penalty='l2', C=1.0)
lg.fit(x_train, y_train)
predict = lg.predict(x_test)
print(lg.coef_)
print(lg.score(x_test, y_test)