机器学习02--(感知机)

最新推荐文章于 2022-06-29 20:22:30 发布

Carson's blog

最新推荐文章于 2022-06-29 20:22:30 发布

阅读量673

点赞数 1

分类专栏：机器学习文章标签：机器学习 python 经验分享统计学人工智能

本文链接：https://blog.csdn.net/weixin_46350177/article/details/120245185

版权

机器学习专栏收录该内容

4 篇文章 0 订阅

订阅专栏

机器学习原理02(感知机)

引入

感知机是什么?使用的前提是?

感知机是一个二元的线性分类器.其是神经网络和支持向量机的基础。
使用的前提是数据集是线性可分的,才能找到一个超平面来分隔正负例点,故线性不可分的数据集不能用感知机。

感知机能解决什么问题?

解决二分类问题
可以找到一个能将两类样本分开的超平面。

感知机

1．感知机是根据输入实例的特征向量 $x$ 对其进行二类分类的线性分类模型：

$f(x)=\operatorname{sign}(w \cdot x+b)$
感知机模型对应于输入空间（特征空间）中的分离超平面 $\cdot x+b=0$ 。
在这里插入图片描述

2．感知机学习的策略是极小化损失函数：

$\min _{w, b} L(w, b)=-\sum_{x_{i} \in M} y_{i}\left(w \cdot x_{i}+b\right)$
损失函数对应于误分类点到分离超平面的总距离。
在这里插入图片描述

3．感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法，有原始形式和对偶形式。算法简单且易于实现。原始形式中，首先任意选取一个超平面，然后用梯度下降法不断极小化目标函数。在这个过程中一次随机选取一个误分类点使其梯度下降；对偶形式更新参数是在原始形式得到更新参数的方法基础上, 将参数更新和误分类点被误分类的次数建立起函数关系。

关于导数和梯度下降法更多内容可参考: 参考链接1;参考链接2;参考链接3

4．当训练数据集线性可分时，感知机学习算法是收敛的。感知机算法在训练数据集上的误分类次数 $k$ 满足不等式：

$\leqslant\left(\frac{R}{\gamma}\right)^{2}$
当训练数据集线性可分时，感知机学习算法存在无穷多个解，其解由于不同的初值或不同的迭代顺序而可能有所不同。

二分类模型

$sign(w\cdot x + b)$

sign(x)：当x>=0时,值为+1,当x<0时,值为-1.

给定训练集

$T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}$

定义感知机的损失函数

$b)=-\sum_{x_{i} \in M} y_{i}\left(w \cdot x_{i}+b\right)$

算法

随即梯度下降法 Stochastic Gradient Descent
随机抽取一个误分类点使其梯度下降。

$\eta y_{i}x_{i}$

$\eta y_{i}$

当实例点被误分类，即位于分离超平面的错误侧，则调整 $w$ , $b$ 的值，使分离超平面向该无分类点的一侧移动，直至误分类点被正确分类
在这里插入图片描述

感知机学习算法的原始形式

在这里插入图片描述

感知机算法的对偶形式:

对偶: 简单理解就是从一个不同角度去解决相似问题。

对偶形式更新参数的本质:在通过原始形式得到更新参数的方法基础上, 将参数更新和误分类点被误分类的次数建立起函数关系。

感知机对偶形式详解的推荐学习视频: —> B站(感知机对偶形式详解)

iris数据集原生示例代码:

import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt


#加载数据集,并加载数据
iris = load_iris()
#构造特征数据，打上特征列标签
df = pd.DataFrame(iris.data,columns=iris.feature_names)
print(df)
#给df增加分类数据,打上分类标签
df['label'] = iris.target

#更改各个列标签数据
df.columns = [
    'sepal length', 'sepal width', 'petal length', 'petal width', 'label'
]
#统计不同数值的个数
print(df.label.value_counts())

#对拟合前的数据进行可视化
""" plt.scatter(df[:50]['sepal length'], df[:50]['sepal width'], label='0')
plt.scatter(df[50:100]['sepal length'], df[50:100]['sepal width'], label='1')
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend()#显示图例
plt.show() """

#利用numpy构建数组数据(选择前100行中的第1列,第2列和最后一列)
data = np.array(df.iloc[:100, [0, 1, -1]])
#X,y分离出特征数据和标签数据(X对应所有行中的除去每行中的最后一列的数据[特征数据],y对应所有行中的最后一列数据[标签数据])
X,y = data[:,:-1],data[:,-1]
#将原始输出的y值转换为 正负一 进行输出
y = np.array([1 if i==1 else -1 for i in y])


""" perceptron感知机 """
class Model:
    def __init__(self):
        #初始化w(系数矩阵)为单位矩阵
        self.w = np.ones(len(data[0])-1,dtype=np.float32)
        #初始化偏置值b为0
        self.b = 0 
        #初始化步长为0.1
        self.l_rate = 0.05
    """模型"""    
    #定义线性分类模型(即感知机模型),返回一个结果数值
    def sign(self,x,w,b):
        #np.dot表示矩阵乘法
        y = np.dot(x,w)+b
        return y

    """算法"""
    #随机梯度下降法
    def fit(self,X_train,y_train):
        #设置False布尔标志,表明数据线性分类未完成
        is_wrong = False
        #当布尔标志为flase即分类未完成时,进入迭代循环
        while not is_wrong:
            #初始化 误分类点的个数为0
            wrong_count = 0
            #遍历每个特征数据点及其对应标签数据
            for d in range(len(X_train)):
                X = X_train[d]
                y = y_train[d]
                """策略"""
                #当遇到误分类点,迭代更新w和b值,
                if y*self.sign(X,self.w,self.b)<=0:
                    self.w = self.w+self.l_rate * np.dot(y,X)
                    self.b = self.b + self.l_rate * y
                    wrong_count += 1 #误分类点个数+1
            #当没有误分类点,表明数据线性分类完成
            if wrong_count == 0:
                is_wrong = True #当布尔标志为true即分类完成时,退出迭代循环
        return 'Perceptron Model!'
    
    #以后 测试模型泛化情况的函数,这里pass掉
    def score(self):
        pass

#实例化感知机模型对象
perceptron = Model()
#调用相应函数进行SGD(随机梯度下降)
perceptron.fit(X, y)

#初始化10个处于4到7范围内的 测试数据点
x_points = np.linspace(4, 7, 10)
#根据模型拟合完成的w向量和b值,生成10个测试数据点对应的y坐标
y_ = -(perceptron.w[0] * x_points + perceptron.b) / perceptron.w[1]
#打印超平面的方程,即AX+BY+C=0的形式
A=round(perceptron.w[0],2) #A值,保留2位小数
B=round(perceptron.w[1],2) #B值,保留2位小数b
C=round(perceptron.b,2) #A值,保留2位小数
function = str(A)+"*X"+"+"+"("+str(B)+")"+"*Y"+str(C)+"=0"

"""数据可视化"""
#绘制线性模型曲线
plt.plot(x_points, y_)
#绘制原始数据集的散点图
plt.plot(data[:50, 0], data[:50, 1], 'bo', color='blue', label='0')
plt.plot(data[50:100, 0], data[50:100, 1], 'bo', color='orange', label='1')
#设置x轴及y轴的名称
plt.xlabel('sepal length')
plt.ylabel('sepal width')
# 中文标题
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.title('感知器实现鸢尾花线性数据拟合\n超平面方程为: '+function)
#显示图例
plt.legend()
#显示最终图像
plt.show()

在这里插入图片描述

iris数据集sklearn示例代码:

"""sklearn实现感知机模型"""

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
#导入sklearn
import sklearn
#导入sklearn的iris数据集
from sklearn.datasets import load_iris
#导入sklearn线性模型中的感知机模型
from sklearn.linear_model import Perceptron

"""加载处理数据"""
#加载数据集,并加载数据
iris = load_iris()
df = pd.DataFrame(iris.data,columns=iris.feature_names)
#给df增加分类数据,打上分类标签
df['label'] = iris.target
#利用numpy构建数组数据(选择前100行中的第1列,第2列和最后一列)
data = np.array(df.iloc[:100, [0, 1, -1]])

#X,y分离出特征数据和标签数据(X对应所有行中的除去每行中的最后一列的数据[特征数据],y对应所有行中的最后一列数据[标签数据])
X,y = data[:,:-1],data[:,-1]

#将输出y转换为 正负一 进行输出
y = np.array([1 if i==1 else -1 for i in y])

#实例化感知机对象
"""
    fit_intercept: 布尔值，指定是否需要计算线性回归中的截距，即b值。
        如果为False,那么不计算b值。
    max_iter：整数。指定了最大迭代次数。如果为None，则采用默认值
    shuffle: 布尔值，默认值=True 
        表示是否在每次迭代之后对训练数据进行打乱
    tol:规定了如果本次迭代的损失和上次迭代的损失之差小于一个特定值时会停止迭代
        故需要设置 tol=None 使之可以继续迭代
"""
perceptron = Perceptron(fit_intercept=True,max_iter=1000,shuffle=True,tol=None)
#传递数据训练模型
perceptron.fit(X,y)
#得到训练结果，权重系数矩阵,可得到系数A和B
A = round(perceptron.coef_[0][0],2) #保留2位小数
B = round(perceptron.coef_[0][1],2) #保留2位小数
#超平面的截距C
C = round(perceptron.intercept_[0],2)  #保留2位小数
#得到超平面方程表达式,AX+BY+C=0的形式
function = str(A)+"*x"+"+"+"("+str(B)+")"+"*Y"+str(C)+"=0"

"""数据可视化"""
# 画布大小
plt.figure(figsize=(10,10))

# 中文标题
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.title('sklearn实现鸢尾花线性数据拟合\n超平面方程为: '+function)

#分别绘制正负例的散点图
plt.scatter(data[:50, 0], data[:50, 1], c='b', label='Iris-setosa',)
plt.scatter(data[50:100, 0], data[50:100, 1], c='orange', label='Iris-versicolor')

# 绘制感知机模型的拟合曲线
x_ponits = np.arange(4, 8)
y_ = -(perceptron.coef_[0][0]*x_ponits + perceptron.intercept_)/perceptron.coef_[0][1]
plt.plot(x_ponits, y_)

# 画图其余信息设置
plt.grid(False)  # 不显示网格
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend()
#显示图像
plt.show()

在这里插入图片描述

简单题目示例代码:

已知一个如图所示的训练数据集，其正例点是x1=(3,3)，x1=(4,3),负例点是x3=(1,1)，试求最大间隔分离超平面。

注: 正例点对应标签+1,负例点对应标签-1

import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt

""" perceptron感知机 """
class Model:
    def __init__(self):
        ##初始化w(系数矩阵)为单位矩阵
        self.w = np.ones(len(X[0]),dtype=np.float32)
        #初始化偏置值b为0
        self.b = 0 
        #初始化步长为0.2
        self.l_rate = 0.2

    """模型"""   
    ##定义线性分类模型(即感知机模型),返回一个结果数值
    def sign(self,x,w,b):
        #np.dot表示矩阵乘法
        y = np.dot(x,w)+b
        return y

    """算法"""
    #随机梯度下降法
    def fit(self,X_train,y_train):
        #设置False布尔标志,表明数据线性分类未完成
        is_wrong = False
        #当布尔标志为flase即分类未完成时,进入迭代循环
        while not is_wrong:
            #初始化 误分类点的个数为0
            wrong_count = 0
            #遍历每个特征数据点及其对应标签数据
            for d in range(len(X_train)):
                X = X_train[d]
                y = y_train[d]
                """策略"""
                #当遇到误分类点,迭代更新w和b值,
                if y*self.sign(X,self.w,self.b)<=0:
                    self.w = self.w+self.l_rate * np.dot(y,X)
                    self.b = self.b + self.l_rate * y
                    wrong_count += 1 #误分类点个数+1
            #当没有误分类点,表明数据线性分类完成
            if wrong_count == 0:
                is_wrong = True#当布尔标志为true即分类完成时,退出迭代循环
        return 'Perceptron Model!'

    #以后 测试模型泛化情况的函数,这里pass掉
    def score(self):
        pass

#利用numpy构建特征数据及对应的标签数据
X = np.array([[3,3],[4,3],[1,1]]) #两个正例点和一个负例点
y = np.array([1,1,-1]) #三个点对应的标签

#实例化感知机模型对象
perceptron = Model()
#调用相应函数进行SGD(随机梯度下降)
perceptron.fit(X, y)

#初始化10个处于1到5范围内的 测试数据点
x_points = np.linspace(1, 5, 10)
#根据模型拟合完成的w向量和b值,生成10个测试数据点对应的y坐标
y_ = -(perceptron.w[0] * x_points + perceptron.b) / perceptron.w[1]
#打印超平面的方程,即AX+BY+C=0的形式
A=round(perceptron.w[0],2) #A值,保留2位小数
B=round(perceptron.w[1],2) #B值,保留2位小数b
C=round(perceptron.b,2) #A值,保留2位小数
function = str(A)+"*X"+"+"+"("+str(B)+")"+"*Y"+str(C)+"=0"
print(function)

"""数据可视化"""
#绘制线性模型曲线
plt.plot(x_points, y_)
#绘制原始数据集的散点图
plt.plot(X[:2, 0], X[:2, 1], 'bo', color='blue', label='1')
plt.plot(X[2:3, 0], X[2:3, 1], 'bo', color='orange', label='-1')
#设置x轴及y轴的名称
plt.xlabel('X')
plt.ylabel('Y')
# 解决中文显示问题
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
#设置标题
plt.title('P40页 例2.1图像'+"\n"+"超平面方程是: "+function)
#显示图例
plt.legend()
#显示最终图像
plt.show()

在这里插入图片描述

The End!!创作不易,欢迎点赞/评论!!欢迎关注个人公众号

在这里插入图片描述

Carson's blog

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
机器学习02--(感知机)

机器学习原理02(感知机)引入感知机是什么?使用的前提是?感知机是一个二元的线性分类器.其是神经网络和支持向量机的基础。使用的前提是数据集是线性可分的,才能找到一个超平面来分隔正负例点,故线性不可分的数据集不能用感知机。感知机能解决什么问题?解决二分类问题可以找到一个能将两类样本分开的超平面。感知机1．感知机是根据输入实例的特征向量xxx对其进行二类分类的线性分类模型：f(x)=sign⁡(w⋅x+b)f(x)=\operatorname{sign}(w \cdot x+b)
复制链接

扫一扫