本文详细介绍了机器学习中的逻辑回归，包括符号定义、公式推导、梯度下降公式，以及在matlab中的实现。通过梯度下降和内置优化函数求解代价函数，实现逻辑回归模型。实验结果显示，分类精度达到86.7%。
机器学习—— 逻辑回归（Logistic regression）
本文主要是对 《机器学习》中的逻辑回归做一个简单的公式推导以及编码实现。该内容只涉及公式的推导，并不具体阐述公式含义。具体视频可以参考 吴恩达老师讲解的机器学习的逻辑回归。
1. 符号和定义
- 样本矩阵 X = [ x 1 , x 2 , ⋯ , x n ] T ∈ R n × d X = [x_1,x_2,\cdots,x_n]^T \in R^{ n\times d} X=[x1,x2,⋯,xn]T∈Rn×d , x i x_i xi 表示第 i 个样本。
- 标签矩阵 Y = [ y 1 , y 2 , ⋯ , y n ] T ∈ { 0 , 1 } n Y = [y_1,y_2,\cdots,y_n]^T \in \{0,1\}^ n Y=[y1,y2,⋯,yn]T∈{ 0,1}n
- 权重向量 θ ∈ R d \theta \in R^d θ∈Rd
2. 公式以及推导过程
2.1 假设函数
H θ ( x i ) = 1 1 + e − x i θ (1) H_{\theta}(x_i) = \frac{1}{1+e^{-x_i\theta}} \tag{1} Hθ(xi)=1+e−xiθ1(1)
2.2 目标函数（代价函数）
原目标函数:
J ( θ ) = 1 m ∑ i = 1 m − y i log ( 1 1 + e − x i θ ) − ( 1 − y i ) log ( 1 − 1 1 + e − x i θ ) J(\theta) = \frac{1}{m}\sum_{i=1}^m{-y_i \log(\frac{1}{1+e^{-x_i\theta}}) - (1-y_i)\log(1-\frac{1}{1+e^{-x_i\theta}}) } J(θ)=m1i=1∑m−yilog(1+e−xiθ1)−(1−yi)log(1−1+e−xiθ1)
目标函数化简：化简只是为了方便后续的求导
J ( θ ) = 1 m ∑ i = 1 m − y i log (
最低0.47元/天 解锁文章
437
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
