python+sklearn机器学习之逻辑分类

逻辑分类

特征1	特征2	输出
3	1	0
2	5	1
1	8	1
6	4	0
5	2	0
3	5	1
4	7	1
…	…	…
6	8	?

通过输入的样本数据, 基于多元线性回归模型求出线性预测方程:

y = w₀ + w₁x₁ + w₂x₂

基于损失函数最小化做梯度下降后,得到最优的模型参数: w₀ w₁ w₂ . 通过得到的线性回归方程进行类别预测, 把x1与x2带入方程得到最终"类别". 但是方程返回的结果是连续值, 不可以直接用于分类业务模型, 所以急需一种方式实现: 连续的预测值 -> 离散的预测值 之间的一个转换. [-∞, ∞] -> {0, 1}
$$逻辑函数sigmoid:y=\frac{1}{1+e^{-x}}$$
该逻辑函数当x>0时, y>0.5; 当x<0时, y<0.5; 可以把样本数据经过线性预测模型求得的值带入逻辑函数的x, 这样的话就可以逻辑函数的返回值看做预测输出被划分为1类别的概率.择概率大的类别作为预测结果. 可以根据该逻辑函数划分2个类别.

这也是线性函数离散化的一种方式.

逻辑函数的相关API:
案例：简单的数学逻辑分类

import sklearn.linear_model as lm
model = lm.LogisticRegression(
    solver='liblinear', C=正则强度)
model.fit(x, y)
pred_test_y = model.predict(test_x)

"""
demo05_lc.py  逻辑分类  
"""
import numpy as np
import matplotlib.pyplot as mp
import sklearn.linear_model as lm

x = np.array([
	[3, 1],
	[2, 5],
	[1, 8],
	[6, 4],
	[5, 2],
	[3, 5],
	[4, 7],
	[4, -1]])
y = np.array([0, 1, 1, 0, 0, 1, 1, 0])
# 把样本绘制出来
mp.figure('Simple Classification', facecolor='lightgray')
mp.title('Simple Classification', fontsize=16)
mp.xlabel('x', fontsize=14)
mp.ylabel('y', fontsize=14)
mp.tick_params(labelsize=10)
mp.grid(linestyle=':')

# 绘制分类边界线
l, r = x[:, 0].min()-1, x[:, 0].max()+1
b, t = x[:, 1].min()-1, x[:, 1].max()+1
n = 500
grid_x, grid_y = np.meshgrid(
	np.linspace(l, r, n),
	np.linspace(b, t, n))

# 构建逻辑分类器
model = lm.LogisticRegression(
	solver='liblinear', C=10)
model.fit(x, y)
# 把grid_x与grid_y抻平了组成模型的输入,预测输出
test_x = np.column_stack(
	(grid_x.ravel(), grid_y.ravel()))
pred_test_y = model.predict(test_x)
grid_z = pred_test_y.reshape(grid_x.shape)

mp.pcolormesh(grid_x,grid_y,grid_z,cmap='gray')

mp.scatter(x[:, 0], x[:, 1], s=60, c=y,
	marker='o', label='Points', cmap='jet')

mp.legend()
mp.show()