逻辑回归及聚类

一、逻辑回归

        1.1 定义： Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类

        1.2  sigmoid函数图像（满足概率在0-1之间）

         1.3 逻辑回归方式

  

         1.4 逻辑回归损失函数及优化

         优化方式
                1、多次取随机点，多次比较最小值结果

                 2、调整学习率

        1.5 逻辑回归API

sklearn.linear_model.LogisticRegression(penalty=‘l2’, C = 1.0)

        Logistic回归分类器

        coef_：回归系数

 二、非监督学习

2.1 K-means

1、随机设置K个特征空间内的点作为初始的聚类中心

2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类 中心点作为标记类别

3、接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平 均值）

4、如果计算得出的新中心点与原中心点一样，那么结束，否则重新进行 第二步过程

 2.2 API

sklearn.cluster.KMeans(n_clusters=8,init=‘k-means++’)

k-means聚类

n_clusters:开始的聚类中心数量

init:初始化方法，默认为'k-means ++’

labels_:默认标记的类型，可以和真实值比较（不是值比较）

 2.3 性能评估APi： sklearn.metrics.silhouette_score

 sklearn.metrics.silhouette_score(X, labels) 计算所有样本的平均轮廓系数

X：特征值

labels：被聚类标记的目标值

    Q1：预测癌症案例

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import mean_squared_error, classification_report


def logistic():
    """
    逻辑回归做二分类进行癌症预测（根据细胞的属性特征）
    :return: None
    """
    # 构造列标签名字
    column = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape',
              'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin', 'Normal Nucleoli',
              'Mitoses', 'Class']

    # 读取数据
    data = pd.read_csv(
        "https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",
        names=column)

    print(data)

    # 缺失值进行处理
    data = data.replace(to_replace='?', value=np.nan)

    data = data.dropna()

    # 进行数据的分割
    x_train, x_test, y_train, y_test = train_test_split(data[column[1:10]], data[column[10]], test_size=0.25)

    # 进行标准化处理
    std = StandardScaler()

    x_train = std.fit_transform(x_train)
    x_test = std.transform(x_test)

    # 逻辑回归预测
    lg = LogisticRegression(C=1.0)

    lg.fit(x_train, y_train)

    print(lg.coef_)

    y_predict = lg.predict(x_test)
    print("准确率：", lg.score(x_test, y_test))

    print("召回率：", classification_report(y_test, y_predict, labels=[2, 4], target_names=["良性", "恶性"]))
    return None


if __name__ == "__main__":
    logistic()

     Q2：K-means案例

from sklearn.decomposition import PCA
import pandas as pd
from sklearn.cluster import KMeans
from matplotlib import pyplot as plt
from sklearn.metrics import silhouette_score

# 读取表数据
prior = pd.read_csv("./archive/order_products__prior.csv")
products = pd.read_csv("./archive/products.csv")
orders = pd.read_csv("./archive/orders.csv")
aisles = pd.read_csv("./archive/aisles.csv")
# 合并表到一张表中
_mg = pd.merge(prior, products, on=['product_id', 'product_id'])
_mg = pd.merge(_mg, orders, on=['order_id', 'order_id'])
mt = pd.merge(_mg, aisles, on=['aisle_id', 'aisle_id'])
mt.head(10)
# 交叉表（特殊分组工具）
cross = pd.crosstab(mt['user_id'], mt['aisle'])
cross.head(10)
# 进行主成分分析
pca = PCA(n_components=0.9)
data = pca.fit_transform(cross)
# 把样本数量减少
x = data[:5000]
x.shape
# 假设用户分为4各类别
km = KMeans(n_clusters=4)
km.fit(x)
predict = km.predict(x)
# 显示聚类的结果
plt.Figure(figsize=(10, 10))
# 建立四个颜色的列表
colored = ['orange', 'green', 'blue', 'purple']
corl = [colored[i] for i in predict]
plt.scatter(x[:, 1], x[:, 20], color=corl)
plt.xlabel("1")
plt.ylabel("20")
plt.show()
silhouette_score(x, predict)