初识机器学习 | 6.逻辑回归

import numpy as np
import matplotlib.pyplot as plt

%matplotlib
%matplotlib inline
%config InlineBackend.figure_format = 'retina'

Using matplotlib backend: MacOSX

逻辑回归(Logistic Regression), 是使用回归的实现的分类算法，只能解决二分类问题. 在Kaggle竞赛中，LR算法以63.5，荣获"出场率最高算法"

$$\hat{p}=f(x)\hat{y}=\{\begin{array}{ll}1,& \hat{p}\ge 0.5\\ 0,& \hat{p}\le 0.5\end{array}$$

假定f(x)为一个线性回归问题，他的值域(-infinity,+infinity)

$$f(x)=x_b\cdot \theta$$

使用Sigmoid函数限定为概率的值域[0,1]

$$\sigma (t)=\frac{1}{1+e^{-t}}$$

Sigmoid函数

$$\sigma (t)=\frac{1}{1+e^{-t}}$$

值域(0,1)

• t0时候, p=0.5
• t>0时候, p>0.5
• t<0时候, p<0.5

# 返回e的幂次方，e是一个常数为2.71828。将线性方程转化为0-1之间的概率。
def sigmoid(t):
    return 1.0 / (1+np.exp(-t))

x = np.linspace(-10, 10, 500)
plt.plot(x, sigmoid(x))
plt.show()

实现逻辑回归

逻辑回归的模型

$$\hat{p}=\sigma \left(f(x)\right)=\sigma \left(x_b\cdot \theta \right)=\frac{1}{1+e^{x_b\cdot \theta }}$$

$$\hat{y}=\{\begin{array}{ll}1,& \hat{p}\ge 0.5\\ 0,& \hat{p}\end{array}$$