Andrew Ng 's machine learning lecture note (8)

原创 2018年04月15日 09:23:15

Over Fitting Problem

Over fitting means that the hypothesis can get good predictions on the traning set but can not get good predictions outside the tranining set. The figure looks like the below second one.
In order to solve this problem , we use the algorithm regularization,

Regularization 

Regularization means we penalize some theta values (make theta values small enough) 
We discuss 2 situations , 
(1)Linear Regression

We redefine the cost function like this:
If we increase lambda which means we penalize theta more.Be careful ! lambda can not be too large ,which may cause under fitting.

To minimize the above cost function , we can use either gradient decent or normal equation shown below:
gradient decent

normal equation

(2)logistic regression
we redefine the cost function:
 

Also we can use gradient decent to solve this 

【CS229 Lecture notes,Machine Learning,Andrew Ng 】阅读笔记(持续更新中...)

线性回归(Linear Regression) 分类与逻辑回归(Classification and logistic regression) 广义线性模型(Generalized Linear Mo...
  • ysk0825
  • ysk0825
  • 2016-09-13 11:07:16
  • 896

Andrew Ng的 Machine Learning 读书笔记 Lecture 2

解释:训练数据去通过算法去训练一个模型,最后训练好的模型就形成了一个预测函数h 解释:梯度下降算法,如果选取的参数的初始化值不一样,梯度下降算法得到的最优解可能也不一...
  • lujiandong1
  • lujiandong1
  • 2015-03-28 15:51:33
  • 736

Andrew NG 《machine learning》week 3,class2

Andrew NG 《machine learning》week 3,class22.1 Cost Function本节简介如何拟合逻辑回归函数中的thera参数。2.1.1 代价函数的适用性对于Co...
  • LilyNothing
  • LilyNothing
  • 2016-06-18 08:56:24
  • 372

《机器学习》(Machine Learning)——Andrew Ng 斯坦福大学公开课学习笔记(二)

第3集  欠拟合和过拟合的概念 一、线性回归的解释 ,最后一项表示误差项(独立同分布),对前面未被建模的因素进行考虑,一般误差项的加和,根据中心极限定理,符合高斯分布 推出:...
  • u013896242
  • u013896242
  • 2015-08-06 21:02:46
  • 1482

Coursera 机器学习课程 Machine Learning Andrew Ng Stanford 讲义合集 lectures

  • 2013年06月22日 14:17
  • 35.15MB
  • 下载

斯坦福大学机器学习课程讲义cs229-andrew Ng. lecture notes

  • 2013年10月16日 21:50
  • 21.83MB
  • 下载

《机器学习》(Machine Learning)——Andrew Ng 斯坦福大学公开课学习笔记(一)

看到蘑菇街招聘的一个加分项是学过Andrew Ng的机器学习课程,于是找来看了下目录,大多数内容之前在PRML中有接触过,研究生课程智能信息处理中也有接触,但觉得不够系统,于是按斯坦福的公开课课表过一...
  • u013896242
  • u013896242
  • 2015-08-05 16:24:31
  • 2391

Andrew Ng's Machine Learning课程学习笔记1:机器学习概要

中南今年第一次开Machine
  • u013522065
  • u013522065
  • 2014-10-07 18:09:18
  • 1062

Andrew Ng的 Machine Learning 读书笔记 Lecture 4(数据归一化,调参)

数据归一化:        归一化化定义:我是这样认为的,归一化化就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保正程序运行时收...
  • lujiandong1
  • lujiandong1
  • 2015-03-28 16:05:06
  • 1233

Coursera《Machine Learning》(机器学习课程,主讲教师为Andrew Ng)配套作业

  • 2017年09月04日 15:02
  • 28.88MB
  • 下载
收藏助手
不良信息举报
您举报文章:Andrew Ng 's machine learning lecture note (8)
举报原因:
原因补充:

(最多只允许输入30个字)