逻辑回归LR推导

1 问题定义：

• 给定数据集 { x 1 , x 2 , . . . , x m } \{x_1,x_2, ...,x_m\} { x1​,x2​,...,xm​}和标签 { y 1 , y 2 , . . . , y m } \{y_1,y_2, ...,y_m\} { y1​,y2​,...,ym​}，训练一个模型，使得输入新的 $x$，输出对应的标签值。这里数据集 $x_i\in R^n$，标签 y i ∈ { 0 , 1 } y_i\in\{0,1\} yi​∈{ 0,1}；

2 建立判别模型

• 建立一个判别模型，输入数据 $x$，输出该数据被分类成每个类别的概率；
• 对于二分类问题，我们使用sigmoid函数来建立判别模型：
  $$p(y=1|x,\theta )=\sigma ({\theta }^{T}x)$$
  p ( y = 0 ∣ x , θ ) = 1 − σ ( θ T x ) p(y=0|x,\theta)=1-\sigma(\theta^Tx) p(y=0∣x,θ)=1−σ(θ