斯坦福公开课Machine Learning笔记(二)--Classification and Logistic Regression

原创 2016年08月30日 21:43:35

斯坦福公开课Machine Learning笔记(二)–Classification and Logistic Regression

这系列笔记其实已经手写好, 现在一次性发上来, 主要是怕丢. 内容以Andrew Ng的讲义为主,主要以公式推导与理解为主,引入和介绍省略.对于最后的Reinforcement Learning部分, 由于没有讲义以及对其实在不熟悉, 就没有笔记了(主要还是因为没有讲义).

1. Logistic Regression

线性回归比较适合预测的问题,对于分类问题,Logistic Regression用的就非常广泛了.

训练集:
X={x(1),x(2),...,x(m)}
y={y(1),y(2),...,y(m)}, y{0,1}
LR其实是在线性回归的基础上再加上一个非线性函数sigmoid 函数,让其更好的适应分类问题,其函数图象如下:

这里写图片描述
LR:

hθ(x)=g(θTx)=11+eθTx

其中g(z)=11+ez
z+时, g(z)=1, 当z时, g(z)=0
g(z) 可以看做是概率,可以比较好的适应分类问题.
P(y=1|x;θ)=hθ(x)
P(y=0|x;θ)=1hθ(x)
P(y|x;θ)=hyθ(1hθ)1y
:
L(θ)=P(y⃗ |x;θ)=i=1mP(y(i)|x(i);θ)=i=1mhyθ(1hθ)1y

:
l(θ)=logL(θ)=i=1m(yiloghθ(x(i))+(1y(i))log(1hθ(x(i))))

然后可以使用梯度下降法或者随机梯度下降法优化问题:
θj:=θjαθjl(θ)

其中:
θjl(θ)=(y1g(θTx)(1y)11g(θTx))θjg(θTx)=(y1g(θTx)(1y)11g(θTx))g(θTx)(1g(θTx))θjθTx=(y(1g(θTx))(1y)g(θTx))xj=(yhθ(x))xj

θj:=θjα(y(i)hθ(x))x(i)j

2. The perceptron learning algrithm

感知器算法与LR类似,同样是在线性上加上一个非线性的函数,但是比LR简单.

g(z)={10z0z<0

再简单列出迭代函数:
θj:=θjα(hθ(x(i))y(i))x(i)j

3.Another algorithm for optimizing (牛顿法)

这里Ng没有讲的特别详细,主要讲解了牛顿法的思想以及推广.
牛顿法:

θ:=θl(θ)l′′(θ)

这里写图片描述
其基本思想就是:
最优化问题中,可以令f(x)=0,这样可以求得极大极小值。举个栗子,上图就是f(x) 的图像。然后通过某个点的导数,快速得到f(x)=0 的点。 其实就是通过二阶导数来快速得到f(x) 的极值。
而使用泰勒展开式展开到二阶:
f(x+Δx)=f(x)+f(x)Δx+f′′(x)Δx2
当且仅当Δx无限趋向于0时成立。
f(x)Δx+f′′(x)Δx2=0 与上式等价。
Δx=f(x)f′′(x)
θ:=θl(θ)l′′(θ)

以上是二维的情况,推广到高维:
θ:=θH1θl(θ)
其中Hij=2l(θ)θiθj

牛顿法与梯度下降法相比,收敛会快很多,毕竟是通过二阶导数来求极值。但是计算代价要高很多,因为要计算HH1

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Stanford Machine Learning 公开课笔记(2) Logistic Regression

最近在Coursera上学习Stanford的Andrew Ng的Machine Learning公开课,也做笔记,写作业。记录一下我的笔记。大部分是课堂视频截图,形式比较丑。

斯坦福公开课Machine Learning笔记(一)--Linear Regression

斯坦福公开课Machine Learning笔记(一)–Linear Regression 线性回归,梯度下降以及概率解释

Andrew Ng 《Machine Learning》第三讲——分类(Classification)&逻辑回归(Logistic Regression Model)

介绍分类问题、逻辑回归,包括Hypothesis Representation\Decision Boundary\Cost Function\Simplified Cost Function\Gra...

【Machine Learning实验2】 Logistic Regression求解classification问题

classification问题和regression问题类似,区别在于y值是一个离散值,例如binary classification,y值只取0或1。         方法来自Andrew Ng...

Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归(Logistic Regression)”

斯坦福大学机器学习第六课"逻辑回归“学习笔记,本次课程主要包括7部分: 1) Classification(分类) 2) Hypothesis Representation 3) D...

Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归(Logistic Regression)”

Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归(Logistic Regression)” 斯坦福大学机器学习第六课”逻辑回归“学习笔记,本次课程主要包括7部分: 1) ...

Machine Learning Logistic Regression and Newton's Method Andrew Ng 课程练习 Matlab Script 详细解析

%% %For this exercise, suppose that a high school has a dataset representing 40 students ... %who we...

[笔记]机器学习(Machine Learning) - 02.逻辑回归(Logistic Regression)

逻辑回归算法是分类算法,虽然这个算法的名字中出现了“回归”,但逻辑回归算法实际上是一种分类算法,我们将它作为分类算法使用。。 分类问题:对于每个样本,判断它属于N个类中的那个类或哪几个类。通常我们判...

【Machine Learning】笔记:Logistic Regression Model

课程是 Coursera 上 Andrew Ng 的公开课 Machine Learning 第三周的内容之一。
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)