fr算法 python_《Python与机器学习》笔记（5）

无监督学习-聚类

1.K-means方法及应用

K-means聚类算法

K-means算法以k为参数，把n个对象分成k个簇，使簇内具有较高的相似度，而簇间的相似度较低。

其处理过程如下：

1. 随机选择k个点作为初始的聚类中心；
2. 对于剩下的点，根据其与聚类中心的距离，将其归入最近的簇；
3. 对每个簇，计算所有点的均值作为新的聚类中心；
4. 重复2、3直到聚类中心不再发生改变。

图示：

K-means的应用

数据介绍：

现有1999年全国31个省份城镇居民家庭平均每人全年消费性支出的八个主要变量数据，这八个变量分别是：食品、 衣着、 家庭设备用品及服务、 医疗保健、 交通和通讯、 娱乐教育文化服务、 居住以及杂项商品和服务。 利用已有数据，对31个省份进行聚类。

实验目的：

通过聚类，了解1999年各个省份的消费水平在国内的情况。

技术路线：

sklearn.cluster.Kmeans

实验过程：

• 使用算法： K-means聚类算法
• 实现过程：

1. 建立工程，导入sklearn相关包

import numpy as np
from sklearn.cluster import KMeans

关于一些相关包的介绍：

• NumPy是Python语言的一个扩充程序库。 支持高级大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。
• 使用sklearn.cluster.KMeans可以调用K-means算法进行聚类

2. 加载数据，创建K-means算法实例，并进行训练，获得标签：

调用KMeans方法所需参数：

• n_clusters：用于指定聚类中心的个数
• init：初始聚类中心的初始化方法
• max_iter：最大的迭代次数

一般调用时只用给出n_clusters即可，init默认是k-means++，max_iter默认是300

其它参数：

• data：加载的数据
• label：聚类后各数据所属的标签
• axis: 按行求和
• fit_predict()：计算簇中心以及为簇分配序号

if __name__ == '__main__':
    data, cityName = loadData('city.txt')
    km = KMeans(n_clusters=4)
    label = km.fit_predict(data)
    expenses = np.sum(km.cluster_centers_, axis=1)
    # print(expenses)
    CityCluster = [[], [], [], []]
    for i in range(len(cityName)):  # 将城市按label分成设定的簇
        CityCluster[label[i]].append(cityName[i])  #  输出每个簇的城市
    for i in range(len(CityCluster)):  # 输出每个城市的花费
        print("Expenses:%.2f" % expenses[i])
        print(CityCluster[i])

3. 输出标签，查看结果：

• 将城市按照消费水平n_clusters类，消费水平相近的城市聚集在一类中
• expense：聚类中心点的数值加和，也就是平均消费水平

聚成4类：km = KMeans(n_clusters=4)

Expenses:3788.76
['河北', '山西', '内蒙古', '辽宁', '吉林', '黑龙江', '江西', '山东', '河南', '贵州', '陕西', '甘肃', '青海', '宁夏', '新疆']
Expenses:4357.67
['安徽', '湖南', '湖北', '广西', '海南', '四川']
Expenses:7754.66
['北京', '上海', '广东']
Expenses:5477.90
['天津', '江苏', '浙江', '福建', '重庆', '云南', '西藏']

拓展&&改进

计算两条数据相似性时，Sklearn 的K-Means默认用的是欧式距离。 虽然还有余弦相似度，马氏距离等多种方法，但没有设定计算距离方法的参数。

源码地址：https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/metrics/pairwise.py

使用形式：scipy.spatial.distance.cdist(A, B, metric=‘cosine’)

详细：https://docs.scipy.org/doc/scipy/reference/generated/scipy.spatial.distance.cdist.html#scipy.spatial.distance.cdist

重要参数：

• A：A向量
• B：B向量
• metric: 计算A和B距离的方法，更改此参数可以更改调用的计算距离的方法

本节完整代码：

#!/usr/bin/env python
# _*_ coding: utf-8 _*_
"""
 @author: antenna
 @license: (C) Copyright 2019, Antenna.
 @contact: lilyef2000@gmail.com
 @software: 
 @file: kmeans-test.py
 @time: 2019/4/9 17:22
 @desc:
"""
import numpy as np
from sklearn.cluster import KMeans


def loadData(filePath):
    """
    :param filePath:
    :return:
    """
    fr = open(filePath, 'r+')
    lines = fr.readlines()
    retData = []
    retCityName = []
    for line in lines:
        items = line.strip().split(",")
        retCityName.append(items[0])
        retData.append([float(items[i]) for i in range(1, len(items))])
    return retData, retCityName


if __name__ == '__main__':
    data, cityName = loadData('city.txt')
    km = KMeans(n_clusters=4)
    label = km.fit_predict(data)
    expenses = np.sum(km.cluster_centers_, axis=1)
    # print(expenses)
    CityCluster = [[], [], [], []]
    for i in range(len(cityName)):  # 将城市按label分成设定的簇
        CityCluster[label[i]].append(cityName[i])  #  输出每个簇的城市
    for i in range(len(CityCluster)):  # 输出每个城市的花费
        print("Expenses:%.2f" % expenses[i])
        print(CityCluster[i])