机器学习的学习历程

原创 2016年08月31日 11:17:27

最近在跟Stanford大学放在Coursera上的机器学习课程,讲师是著名的华人Andrew Ng. 这是我见过为数不多的为期10个星期的课程,而且每个星期巨大的工作量也是罕见。

今天我想在继续学习之前稍微复习一下学过的内容,把前3周的内容用博客文章的形式整理一遍。

机器学习大致分为两类:supervised learning和unsupervised learning,我自行翻译一下是自发学习和非自发学习,虽然顺序颠倒了一下。

  • Supervised Learning主要是回归分析(regression),用来预测连续的量
  • Unsupervised Learning被称为“分类”(classification),用来处理离散的0或1问题;这种学习方式是算法自发进行的学习,可以找到一组数据中的结构,Andrew举了一个例子,用unsupervised learning可以区分不同音轨

一些课程中用到的符号表示,Andrew意思是这些符号在普遍的机器学习使用中都有运用,所以这里还是提及一下。

Notation Meaning
m 样本的数量
x 输入
y 输出
(x, y) 单次训练
(x(i),y(i)) i个训练集合

机器学习大概的模型是一组训练集,经过了算法的处理得到输出,主要过程如下图所示:

x(input) -> h -> y(output)

其中h是hypothesis 的意思,当 h=θ0+θ1x 的时候我们成这种算法为“线性回归”(Linear Regression)。

下面介绍了cost function和gradient descent(梯度下降法)。

Cost Function:

J(θ0,θ1)=12mi=1m(hθ(x(i))y(i))2

而Gradient Descent就是一种最小化Cost Function的方法,找到使得cost最小的 θ0,θ1 的值,或者说向量 θ 的值,课程给我一个印象就是向量化非常重要。

具体执行Gradient Descend的时候步骤是这样的:先从某个选定的 θ0,θ1 开始,不断改变他们俩的值从而减小cost,直到达到最小值。如何改变,课程里运动了求偏导数,可能就是求梯度的方法:

θj:=θjαθjJ(θ0,θ1)

一个正确的Gradient Descend过程应该在每次改变 θ 值后cost都能减小,越往后减小的量越小,最终收敛于某个值,这就是我们想要的最小值。

版权声明:本文为博主原创文章,未经允许,请勿转载。

相关文章推荐

《Python机器学习算法》的写作历程

最近有两个多月的时间没来更新博客,是一直在忙着一件事——将博客中的一些文章整理成书。一开始写博客,给自己的文章建了一个响亮的标题《简单易学的机器学习算法》,但是发现写着写着,每一个算法也变得没那么简单...

机器学习实践(中英文+源码组合)

  • 2017年11月18日 14:50
  • 49.18MB
  • 下载

文本分类,数据挖掘和机器学习

机器学习的有概率分类器(probabilistic) ,贝叶斯推理网络(bayesian inference networks) , 决策树分类器(decision tree) ,决策规则分类器(...

机器学习

  • 2017年11月16日 10:45
  • 9.94MB
  • 下载

机器学习中文版

  • 2017年11月14日 15:59
  • 9.65MB
  • 下载

人工智能之机器学习路线图

1. 引言 也许你和这个叫『机器学习』的家伙一点也不熟,但是你举起iphone手机拍照的时候,早已习惯它帮你框出人脸;也自然而然点开今日头条推给你的新闻;也习惯逛淘宝点了找相似之后货比三家;亦或喜...

机器学习实战

  • 2017年11月12日 15:25
  • 9.83MB
  • 下载

25 个 Java 机器学习工具和库

1. Weka集成了数据挖掘工作的机器学习算法。这些算法可以直接应用于一个数据集上或者你可以自己编写代码来调用。Weka包括一系列的工具,如数据预处理、分类、回归、聚类、关联规则以及可视化。 2...
  • whywhom
  • whywhom
  • 2016年01月05日 12:29
  • 822
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习的学习历程
举报原因:
原因补充:

(最多只允许输入30个字)