# 机器学习笔记2——参数学习、非参数学习、局部加权线性回归、线性回归的概率解释、logistics回归

• 参数学习：有固定数目的参数，模型学习之后会有一个永久的参数，这个参数在后面的预测中可以直接使用，不需要再需要数据

• 非参数学习：参数数目会随着训练数据规模线性增长。

• 局部加权线性回归，使用局部的数据进行回归

假设要在第i个样本附近回归，$x^{(i)}$

找到θ，使得$\frac12\sum_{i=1}^m w^{(i)} (y^{(i)}-θ^T x^{(i)})^2$
其中$w^{(i)}=e^{-\frac{(x^{(i)}-x)^2} 2}$
这意味着，当x接近于$x^{(i)}$时，$w^{(i)}$接近于1，反之，当x远离于$x^{(i)}$时，$w^{(i)}$接近于0

• 线性回归的概率解释
  样本：（$x^{(i)},y^{(i)}$），第i个样本，总共m个样本
  $h_θ(x^{(i)})$表示第i个样本的预测值
  则$y^{(i)} = θ^Tx^{(i)}+ε^{(i)}$
  假设$ε^{(i)}~N(0,σ^2)$，且符合独立同分布 iid.
  $P(ε^{(i)}) = \frac 1 {\sqrt{2π}σ}e^{-\frac{{ε^{(i)}}^2} {2σ^2}}$

所以， $P(y^{(i)}|x^{(i)};θ) = \frac 1 {\sqrt{2π}σ}e^{-\frac{{y^{(i)} - θ^Tx^{(i)}}^2} {2σ^2}}~N(θ^Tx^{(i)},σ^2)$
；表示频率学派观点，θ不是随机变量，读作：以θ为参数的概率…
，表示贝叶斯学派观点，θ是随机变量
似然函数$L(θ) =P($Y|X;θ$)= Π_{i=1}^mP(y^{(i)}|x^{(i)};θ)$
$l(θ) = \log {L(θ)}$
最大似然：选取θ使得$L(θ)$最大，即$l(θ)$最大
$l(θ) = m \log {\frac1 {\sqrt{2π}σ}} + \sum_{i=1}^m{-\frac{{y^{(i)} - θ^Tx^{(i)}}^2} {2σ^2}}$
$\frac{{y^{(i)} - θ^Tx^{(i)}}^2} {2σ^2} = J(θ)$

logistic 回归：
分类算法
假设$y∈\{0,1\}$，我们选取回归的函数$h_θ(x)∈[0,1]$
选择$h_θ(x) = g(θ^Tx) = \frac 1 {1+e^{-θ^Tx}}$
$g(z) = \frac 1 {1+e^{-z}}$ 叫做sigmoid函数或者 logistics函数

$P(y=1|x;θ) = h_θ(x)$
$P(y=0|x;θ) = 1-h_θ(x)$
所以$P(y|x;θ)=h_θ(x)^y(1-h_θ(x))^{1-y}$
似然函数$L(θ) = P($y|x$;θ) = ΠP(y^{(i)}|x^{(i)};θ)=Π{h_θ(x^{(i)})^{y^{(i)}}(1-h_θ(x^{(i)}))^{1-y^{(i)}}}$

$l(θ) = \log L(θ)$
梯度上升法：$θ = θ+α\frac ∂ {∂θ}l(θ)$