Stanford机器学习---第一讲. Linear Regression with one variable

原创 2012年06月28日 20:38:26

本栏目(Machine learning)包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM(Support Vector Machines 支持向量机)、聚类、降维、异常检测、大规模机器学习等章节。所有内容均来自Standford公开课machine learning中Andrew老师的讲解。(https://class.coursera.org/ml/class/index


第一章-------单参数线性回归 Linear Regression with one variable


(一)、Cost Function

线性回归是给出一系列点假设拟合直线为h(x)=theta0+theta1*x, 记Cost Function为J(theta0,theta1)

之所以说单参数是因为只有一个变量x,即影响回归参数θ1,θ0的是一维变量,或者说输入变量只有一维属性。


下图中为简化模式,只有theta1没有theta0的情况,即拟合直线为h(x)=theta1*x

左图为给定theta1时的直线和数据点×

右图为不同theta1下的cost function J(theta1)



cost function plot:



当存在两个参数theta0和theta1时,cost function是一个三维函数,这种样子的图像叫bowl-shape function


将上图中的cost function在二维上用不同颜色的等高线映射为如下右图,可得在左图中给定一个(theta0,theta1)时又图中显示的cost function.



我们的目的是最小化cost function,即上图中最后一幅图,theta0=450,theta1=0.12的情况。




(二)、Gradient descent

gradient descent是指梯度下降,为的是将cost funciton 描绘出之后,让参数沿着梯度下降的方向走,并迭代地不断减小J(theta0,theta1),即稳态。


每次沿着梯度下降的方向:


参数的变换公式:其中标出了梯度(蓝框内)和学习率(α):


gradient即J在该点的切线斜率slope,tanβ。下图所示分别为slope(gradient)为正和负的情况:



同时更新theta0和theta1,左边为正解:



关于学习率:


α太小:学习很慢;                                                             α太大:容易过学习

所以如果陷入局部极小,则slope=0,不会向左右变换

本图表示:无需逐渐减小α,就可以使下降幅度逐渐减小(因为梯度逐渐减小):


求导后:



由此我们得到:


其中x(i)表示输入数据x中的第i组数据




关于Machine Learning更多的学习资料将继续更新,敬请关注本博客和新浪微博Sophia_qing



机器学习方法:回归(一):线性回归Linear regression

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。开一个机器学习方法科普系列:做基础回顾之用,学而时习之;也拿出来与大家分享。数学水平有限,只求易懂,学习与工作...
  • xbinworld
  • xbinworld
  • 2015年03月19日 22:18
  • 31158

线性回归(Linear regression)及其相关问题

前言: True regression functions are never linear!
  • qq_26837565
  • qq_26837565
  • 2015年03月24日 17:18
  • 2339

Ng机器学习课程Notes学习及编程实战系列-Part 1 Linear Regression

编者按:本系列系统总结Ng机器学习课程(http://cs229.stanford.edu/materials.html) Notes理论要点,并且给出所有课程exercise的作业code和实验结果...
  • yangliuy
  • yangliuy
  • 2014年01月19日 15:59
  • 11744

[sklearn学习]linear_model.LinearRegression

参数: fit_intercept:   布尔型,默认为true 说明:是否对训练数据进行中心化。如果该变量为false,则表明输入的数据已经进行了中心化,在下面的过程里不进行中心化处理;否则,对输入...
  • qq_29083329
  • qq_29083329
  • 2015年09月22日 14:00
  • 7604

机器学习之线性回归(Linear Regression)

线性学习中最基础的回归之一,下面从线性回归的数学假设,公式推导,模型算法以及实际代码运行几方面对这一回归进行全面的剖析~...
  • July_sun
  • July_sun
  • 2016年11月18日 21:53
  • 5293

Andrew Ng Machine Learning 专题【Linear Regression】

此文是斯坦福大学,机器学习界 superstar — Andrew Ng 所开设的 Coursera 课程:Machine Learning 的课程笔记。力求简洁,仅代表本人观点,不足之处希望大家探讨...
  • yOung_One
  • yOung_One
  • 2015年07月29日 17:38
  • 2876

Logistic Regression 的 Cost function 的推倒过程

Logistic Regression 不同于 Linear Regression,它可以是预测结果成为离散的值(比如正类、负类)。因此它可以作为 classification 的工具。如果听过And...
  • zzz7290
  • zzz7290
  • 2014年07月09日 15:08
  • 1266

机器学习——深度学习(Deep Learning)

Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,最近研究了机器学习中一些深度学习的相关知识,本文给出一些很有用的资料和心得。Key Wor...
  • abcjennifer
  • abcjennifer
  • 2012年08月04日 09:49
  • 366602

机器学习10大经典算法

1、C4.5 机器学习中,决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,而每个分叉路径则代表的某个可能的属性值,而每个叶结点则对应从根节点到该叶节点所...
  • xxinliu
  • xxinliu
  • 2012年03月29日 20:35
  • 157528

瑞星“冲击波(Worm.Blaster)”病毒专杀工具

  • 2003年10月02日 00:00
  • 82KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Stanford机器学习---第一讲. Linear Regression with one variable
举报原因:
原因补充:

(最多只允许输入30个字)