感知机模型自编程和sklearn实现（二）

感知机

1．感知机是根据输入实例的特征向量对其进行二类分类的线性分类模型：

感知机模型对应于输入空间（特征空间）中的分离超平面：

2．感知机学习的策略是极小化损失函数：

损失函数对应于误分类点到分离超平面的总距离。

3．感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法，有原始形式和对偶形式。算法简单且易于实现。原始形式中，首先任意选取一个超平面，然后用梯度下降法不断极小化目标函数。在这个过程中一次随机选取一个误分类点使其梯度下降。

4．当训练数据集线性可分时，感知机学习算法是收敛的。感知机算法在训练数据集上的误分类次数满足不等式：

当训练数据集线性可分时，感知机学习算法存在无穷多个解，其解由于不同的初值或不同的迭代顺序而可能有所不同。

算法实现

随即梯度下降法 Stochastic Gradient Descent
随机抽取一个误分类点使其梯度下降。
误分类点则更新参数：


使用鸢尾花 iris 数据集中两个分类的数据和[sepal length，sepal width]作为特征

from sklearn import datasets
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
print(len(datasets.load_iris()['data']))
print(datasets.load_iris().keys())
print(datasets.load_iris()['feature_names'])
print(datasets.load_iris()['target_names'])
print(datasets.load_iris()['data'])
print(datasets.load_iris()['target'])


iris = datasets.load_iris()
df = pd.DataFrame(iris['data'], columns=iris['feature_names'])
df['label'] = iris.target  # iris['target']
print(df)


plt.scatter(df[:50]