机器学习（一）逻辑回归（损失函数、决策边界）

一、什么是逻辑回归

逻辑回归：解决分类问题，将样本的特征和样本发生的概率联系起来
逻辑回归的函数$\hat{y}=f(x)$，对于线性回归来说，可变换为$\hat{y}={\theta }^T\cdot x_b$，$\hat{y}$的值域为$(-\infty ,+\infty )$，但概率的值域为[0, 1]，因此需要寻找一个函数，使得$\hat{p}=\sigma ({\theta }^T\cdot x_b)$的值在[0, 1]之间，由此引入了Sigmoid函数σ：
$$\sigma (t)=\frac{1}{1+e^{-t}}$$
为什么Sigmoid函数可以非常好的将$\hat{y}$转换为概率值呢？我们可以绘制出图像来观察

import numpy as np
import matplotlib.pyplot as plt

def sigmoid(t):
	return 1 / (1 + np.exp(-t))
	
x = np.linspace(-10, 10, 500)
y = sigmoid(x)
plt.plot(x,y)
plt.show()

当t > 0 时，p > 0.5，当t < 0 时，p < 0.5，值域在(0, 1)之间
因此上式可以变换为：
$$\hat{p}=\sigma ({\theta }^T\cdot x_b)=\frac{1}{1+e^{-{\theta }^T\cdot x_b}}$$
$$\hat{y}=\{\begin{array}{ll}1,& \text{p^ >= 0.5}\\ 0,& \text{p^ <= 0.5}\end{array}$$
因此现在的问题成为：对于给定的样本数据集X，y，我们如何找到参数θ，可以最大程度获得样本数据集X对应的分类输出y

二、逻辑回归的损失函数

根据逻辑回归公式两种分类的不同来定义损失函数：
$$cost=\{\begin{array}{ll}& \text{如果y=1，p越小，cost越大}\\ & \text{如果y=0，p越大，cost越大}\end{array}$$
这里我们使用如下的函数来表示这种趋势：
$$cost=\{\begin{array}{ll}-log(\hat{p})& \text{if y=1}\\ -log(1-\hat{p})& \text{if y=0}\end{array}$$
这里将函数进行调整，写在一个公式里：
$$cost=-ylog(\hat{p})-(1-y)log(1-\hat{p})$$
因此损失函数可以定义为：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m{y}^{(i)}log({\hat{p}}^{(i)})+(1-y^{(i)})log(1-{\hat{p}}^{(i)})$$
$y^{(i)}$，$p^{(i)}$分别为第i个样本的真实值和估计值，其中
$$\hat{p}=\sigma (X_b^{(i)}\theta )=\frac{1}{1+e^{-X_b^{(i)}\theta }}$$
将$\hat{p}$带入损失函数中
$$J(\theta )=-\frac{1}{m}\sum _{i=1}$$