第二周学习笔记

第二周学习笔记

本周的主要学习工作

1.CS229的学习（因为本身有笔记，此处仅记录一些重要的内容）

[课程地址]

第三讲，过拟合与欠拟合的概念

主要内容

• 局部加权回归（Locally Weighted Regression）
• 线性回归的概率解释
• Logistic Regression
• 感知器算法（Perceptron）

值得注意的地方

1.为什么假设误差服从高斯分布？

• 为了方便运算
• 根据中心极限定理，互相独立的随机变量的加和的极限分布是高斯分布，有理由假设误差是一系列相互独立的随机变量的和。

2.为什么记号中用分号将$x$和$\Theta$分开

$$P(y^{(i)}|x^{(i)};\Theta )$$

因为此处采取了频率学派的观点，用分号分开是为了表示$\Theta$不是一个随机变量（与之对应的是贝叶斯学派观点），如果用逗号隔开
$$P(y^{(i)}|x^{(i)},\Theta )$$

表明$y^{(i)}$以$x^{(i)}$和$\Theta$作为条件，而被作为条件的只能是随机变量

3.感知器算法（Perceptron）

尽管感知器算法看起来和线性回归、Logistic回归一样，但他们是十分不同的算法，其中重要的一点就是感知器算法不像后者有较好的概率解释（最大似然估计）

第四讲，牛顿方法

主要内容

• 牛顿法，几何解释
• 指数分布族（Exponential Family）,伯努利分布和正态分布都属于指数分布族
• 广义线性模型GLM（Generalized Linear Models）
• Softmax Regression，Logistic Regression的推广，基于多项分布

值得注意的地方

1.关于sigmoid函数

在logistic regression 中，假设数据服从伯努利分布，通过最大似然法可以得到是正类的概率，这个概率通常是由sigmoid函数计算出来的，使用sigmoid函数的原因是：
伯努利分布属于指数分布族
$$P(y;\eta )=b(y)exp({\eta }^{T}T(y)-a(\eta ))$$
推导过程如下

$$\begin{array}{rl}P(y;\varphi )& ={\varphi }^y(1-\varphi {)}^{(1-y)}\\ & =exp\left(log{\varphi }^y(1-\varphi {)}^{(1-y)}\right)\\ & =exp\left(ylog\varphi +(1-y)log(1-\varphi )\right)\\ & =exp\left(log\frac{\varphi }{1-\varphi }y+log(1-\varphi )\right)\end{array}$$令
$$\eta =log\frac{\varphi }{1-\varphi }$$
可得
$$\varphi =\frac{1}{1+e^{-\eta }}$$

第五讲 生成学习算法

主要内容

• 判别学习算法
  1.直接学习$p(y|x)$
  2.学习一个假设$h_{\theta }(x)$输出{0,1}
• 生成学习算法
  同时对$P(x|y)$和$P(y)$建模，使用贝叶斯公式得到$P(y|x)$
• 高斯判别分析
  假设$P(x|y)$服从高斯分布，
  $P(x|y)$服从高斯分布$\Rightarrow$$P(y=1|x)$有logistic形式的后验分布，因此高斯判别分析有着更强的假设
• 朴素贝叶斯（Naive Bayes）
• 拉普拉斯平滑（Laplace smoothing）

值得注意的地方

1.高斯判别分析和Logistic回归的比较

高斯判别分析的假设更强，需要的数据量更少，但实际与假设不相符合时，效果不一定好，而Logistic回归假设若，更有鲁棒性，但需要更多数据进行拟合，当假设$P(y=i|x)$服从泊松分布，gamma分布等一些指数分布族中的分布时，得到的也是Logistic形式的后验分布。
######2.为什么高斯判别分析最后呈现Logistic回归形式
$$\begin{array}{rl}p(y=1|x)& =\frac{p(x|y=1)p(y=1)}{p(x|y=1)p(y=1)+p(x|y=0)p(y=0)}\\ & =\frac{\frac{1}{\sqrt{2\pi }|\Sigma {|}^{-\frac{1}{2}}}{e}^{-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)}\varphi }{\frac{1}{\sqrt{2\pi }|\Sigma {|}^{-\frac{1}{2}}}{e}^{-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)}\varphi +\frac{1}{\sqrt{2\pi }|\Sigma {|}^{-\frac{1}{2}}}{e}^{-\frac{1}{2}(x-{\mu }_0{)}^T{\Sigma }^{-1}(x-{\mu }_0)}(1-\varphi )}\\ & =\frac{e^{-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)}\varphi }{e^{-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)}\varphi +e^{-\frac{1}{2}(x-{\mu }_0{)}^T{\Sigma }^{-1}(x-{\mu }_0)}(1-\varphi )}\\ & =\frac{1}{1+\frac{1-\varphi }{\varphi }{e}^{-\frac{1}{2}(x-{\mu }_0{)}^T{\Sigma }^{-1}(x-{\mu }_0)+\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)}}\\ & =\frac{1}{1+e^{({\mu }_0-{\mu }_1{)}^T{\Sigma }^{-1}x+\frac{1}{2}{\mu }_1^T{\Sigma }^{-1}{\mu }_1-\frac{1}{2}{\mu }_0^T{\Sigma }^{-1}{\mu }_0+ln\frac{1-\varphi }{\varphi }}}\end{array}$$
$e$的指数中，右三个式子可以看做Logistic回归中的常数项

3.朴素贝叶斯中的假设

仅仅假设了各个属性条件独立而非独立

2.实验

Logistic Regression

[代码在这]

实验目标：学习Logistic Regression的梯度下降和牛顿解法
实验数据：随机生成的两类样本点
实验过程：

• 给定一条直线，随机生成1000个样本点，位于直线一侧标记为正样本，另一侧标记为负样本，并将其中10%的样本标记取反。
• 使用梯度下降优化损失函数
• 使用牛顿法优化损失函数

实验结果：
牛顿法在第三轮迭代时就收敛了，而梯度下降法在400轮左右才收敛，说明牛顿法是更加高效的优化算法。
实验中遇到的问题：

• 计算Hessian矩阵求导错误
• 使用批梯度下降法忘记按样本数对梯度求平均

本周工作中的问题

学习内容不够丰富

下周的目标

完成softmax、朴素贝叶斯模型的实验，完成5课CS229的学习