前言:简单介绍半监督学习,无公式推导,并用sklearn实现
机器学习专栏:机器学习专栏
一、算法思路
1、生成模型
先计算样本特征的总体的联合分布,将所有有标注的样本计算出一个分布,然后把没有标注的样本放入这个分布中,看根据这个分布它该如何被标注,这个过程可能是迭代的。
2、物以类聚(label propagation)
标签传播算法,LP算法是一个基于图的半监督学习的算法。类似于监督学习算法中的KNN算法,假设越相近的点更有可能具有相同的类别标签,然后根据少量的有标签的样本,根据一些规则判断相邻节点之间的相似性,根据相似性对为未标签的样本进行标记。
二、标签传播算法的两种计算方式
(其实这里涉及图相关的算法知识)
1. RBF
距离离的越近越接近于1,距离离的越远越接近于0。向基函数是某种沿径向对称的标量函数,通常定义为样本到数据中心之间径向距离(通常是欧氏距离)的单调函数(由于距离是径向同性的)
2. KNN
找一个无标注的数据,然后取附近k个有标注的数据,无标注数据附近哪种标注的数据最多就取哪一个(以未标注的数据为圆心做KNN,在指定范围内找到了有标注的数据,然后对未标注的数据进行打标,然后进行打标传播,直到未标注的数据全都标注以后,算法结束)
三、sklearn实现LP算法
# -*- coding:utf-8 -*-
"""
@author: Tao_RY
@file: LP.py
@time: 2020-04-13 12:35:41
"""
import numpy as np
import pandas as pd
from sklearn.semi_supervised import LabelPropagation
from sklearn.metrics import accuracy_score, recall_score, f1_score, r2_score
df = pd.read_csv(r"C:\Users\1\WorkSpace\python\machine learning\data\iris.csv", sep=',')
labels = np.copy(df['virginica'])
train_data = df.iloc[:, [0, 1, 2, 3]]
# 标签传播算法中,未标注的数据的label必须是-1,随机选一些,标注为-1
random_unlabeled_points = np.random.randint(0, len(labels), (1, 100))
Y = labels[random_unlabeled_points][0, :]
labels[random_unlabeled_points] = -1
LP_model = LabelPropagation()
LP_model.fit(train_data, labels)
y_pred = LP_model.predict(train_data)
Y_pred = y_pred[random_unlabeled_points][0, :] # -1的那部分重新预测
print('accuracy_score:', accuracy_score(Y, Y_pred))