逻辑回归笔记（整理）

目标：建立分类器（求解出三个参数 $\theta_0 \theta_1 \theta_2 $）

设定阈值，根据阈值判断录取结果

---

要完成的模块

• sigmoid : 映射到概率的函数
• model : 返回预测结果值
• cost : 根据参数计算损失
• gradient : 计算每个参数的梯度方向
• descent : 进行参数更新
• accuracy: 计算精度

---

sigmoid函数

$$g(z)=\frac{1}{1+e^{-z}}$$

• $g:\mathbb{R}\to [0,1]$
• $g(0)=0.5$
• $g(-\infty )=0$
• $g(+\infty )=1$

def sigmoid(z):
    return 1 / (1 + np.exp(-z))
sigmoid(0)

---

model函数

$$\begin{array}{ccc}\left(\begin{array}{ccc}{\theta }_0& {\theta }_1& {\theta }_2\end{array}\right)& \times & \left(\begin{array}{c}1\\ x_1\\ x_2\end{array}\right)\end{array}={\theta }_0+{\theta }_{1}x+{\theta }_2{x}_2$$

def model(X, theta):
    return sigmoid(np.dot(X, theta.T))

---

损失函数

将对数似然函数去负号
$$
D(h_\theta(x), y) = -y\log(h_\theta(x)) - (1-y)\log(1-h_\theta(x))
$$
求平均损失
$$J(\theta )=\frac{1}{n}\sum _{i=1}^{n}D(h_{\theta }(x_i),y_i)$$

def cost(x, y, theta):
    left = np.multiply(-y, np.log(model(x, theta)))
    right = np.multiply(1 - y, np.log(1 - model(x, theta)))
    return np.sum(left - right) / (len(x))

---

计算梯度

$$\frac{\theta J}{\partial {\theta }_j}=-\frac{1}{m}\sum _{i=1}^n(y_i-h_{\theta }(x_i))x_{ij}$$

def gradient(x, y, theta):
    grad = np.zeros(theta.shape)
    error = (model(x, theta) - y).ravel()
    for j in range(len(theta.ravel())):
        term = np.multiply(error, x[:, j])
        grad[0, j] = np.sum(term) / len(x)
    return grad