机器学习的学习历程

原创 2016年08月31日 11:17:27

最近在跟Stanford大学放在Coursera上的机器学习课程,讲师是著名的华人Andrew Ng. 这是我见过为数不多的为期10个星期的课程,而且每个星期巨大的工作量也是罕见。

今天我想在继续学习之前稍微复习一下学过的内容,把前3周的内容用博客文章的形式整理一遍。

机器学习大致分为两类:supervised learning和unsupervised learning,我自行翻译一下是自发学习和非自发学习,虽然顺序颠倒了一下。

  • Supervised Learning主要是回归分析(regression),用来预测连续的量
  • Unsupervised Learning被称为“分类”(classification),用来处理离散的0或1问题;这种学习方式是算法自发进行的学习,可以找到一组数据中的结构,Andrew举了一个例子,用unsupervised learning可以区分不同音轨

一些课程中用到的符号表示,Andrew意思是这些符号在普遍的机器学习使用中都有运用,所以这里还是提及一下。

Notation Meaning
m 样本的数量
x 输入
y 输出
(x, y) 单次训练
(x(i),y(i)) i个训练集合

机器学习大概的模型是一组训练集,经过了算法的处理得到输出,主要过程如下图所示:

x(input) -> h -> y(output)

其中h是hypothesis 的意思,当 h=θ0+θ1x 的时候我们成这种算法为“线性回归”(Linear Regression)。

下面介绍了cost function和gradient descent(梯度下降法)。

Cost Function:

J(θ0,θ1)=12mi=1m(hθ(x(i))y(i))2

而Gradient Descent就是一种最小化Cost Function的方法,找到使得cost最小的 θ0,θ1 的值,或者说向量 θ 的值,课程给我一个印象就是向量化非常重要。

具体执行Gradient Descend的时候步骤是这样的:先从某个选定的 θ0,θ1 开始,不断改变他们俩的值从而减小cost,直到达到最小值。如何改变,课程里运动了求偏导数,可能就是求梯度的方法:

θj:=θjαθjJ(θ0,θ1)

一个正确的Gradient Descend过程应该在每次改变 θ 值后cost都能减小,越往后减小的量越小,最终收敛于某个值,这就是我们想要的最小值。

版权声明:本文为博主原创文章,未经允许,请勿转载。

机器学习发展简史

本文主要参考中科院自动化研究所复杂系统与智能科学实验室王珏研究员《关于机器学习的讨论》,讨论机器学习的描述,理论基础,发展历史以及研究现状。...
  • Yahuvi
  • Yahuvi
  • 2017年01月16日 11:06
  • 1463

机器学习(四) - - 发展历程

《机器学习》周志华 清华大学出版社 读书笔记(四)- - 发展历程
  • zmdsjtu
  • zmdsjtu
  • 2016年09月28日 15:25
  • 1643

机器学习发展史

机器学习(Machine Learning, ML)可以认为是:通过数据,算法使得机器从大量历史数据中学习规律,从而对新样本做分类或者预测。它是人工智能(Artificial Intelligence...
  • u012017783
  • u012017783
  • 2016年12月29日 12:31
  • 1422

记录自己的计算机学习历程(2)

时间过的真快,一下子就两个星期了。明天就要开始上班,今天赶紧写点,以后还不知道什么时候才有空:(上次写到初中第一次接触计算机,基本上没想到什么。印象中就还有个二进制转换成十六进制的算法,呵呵。现在想起...
  • fantasydragon2
  • fantasydragon2
  • 2007年06月03日 23:21
  • 573

从0开始的机器学习的学习

从0开始的机器学习的学习 Mar 2, 2015 怎么从0学习机器学习 从2012年开始我在微博上关注了一些混段子界和学术界(主要是计算机视觉和机器学习)的博主,很有收获,总算找...
  • lishangyin88
  • lishangyin88
  • 2016年07月23日 00:12
  • 471

我的FPGA学习历程

回想起自己学FPGA,已经有一段时间了,从开始的茫然,到后来的疯狂看书,设计开发板,调电路,练习各种FPGA实例,到最后能独立完成项目,一路走来,感受颇多,拿出来和大家分享,顺便介绍下自己的一点经验所...
  • henhen2002
  • henhen2002
  • 2009年10月21日 09:51
  • 2760

我的编程学习历程

在目前的中国,对于大多数的大学生来说,有一种理论叫做:先就业后择业。但无论是否有违此论的初衷,这种选择实在是家境背景一般的学生必须的选择。 不过,对于刚进入社会的大学毕业生来说,主要的是工作稳定,实现...
  • Andrewniu
  • Andrewniu
  • 2015年11月20日 10:38
  • 478

机器学习的学习路径

一、为什么是列出一堆可以探索的书,而不是要去寻找一条路 机器学习的研究和应用已经有很长的时间了。随着人类的发展,数据和计算能力都在不断的增加,因此机器学习这几年变得异常火热,很多公司开始部署相关的部...
  • Shadow_Mi
  • Shadow_Mi
  • 2016年07月05日 15:58
  • 2061

精通JAVA的学习步骤

每个人的学习方法是不同的,一个人的方法不见得适合另一个人,我只能是谈自己的学习方法。因为我学习Java是完全自学的,从来没有问过别人,所以学习的过程基本上完全是自己摸索出来的。我也不知道这种方法是否是...
  • huoyunshen88
  • huoyunshen88
  • 2013年09月15日 21:28
  • 803

OpenCV学习笔记(8)-机器学习

什么是机器学习 机器学习的目的是把数据转换成信息.在学习了一系列的数据之后,我们需要机器能够回答与这些数据有关的问题:其他还有哪些数据和本数据最相似?图像中有没有汽车?哪个广告最能得到消费者的响应?...
  • cc7829290
  • cc7829290
  • 2013年06月04日 13:35
  • 4255
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习的学习历程
举报原因:
原因补充:

(最多只允许输入30个字)