andrew ng机器学习笔记

原创 2015年11月21日 15:31:14

第五周

Neural Networks: Learning

  • cost function
    这里写图片描述
    m组数据,图片里面有四层,L=4,最后一层K是输出层的数据,也是sL。

  • Backpropagation algorithm

  • 这里写图片描述
    这里写图片描述

  • Gradient Checking
    梯度检查是为了检查自己写的代码的确是在梯度下降。第一个是导数的近似替代。
    这里写图片描述
    也就是用导数的定义来计算你的算法正确与否。但是替代的这个方法效率很低,所以其实就是实际训练的时候进行屏蔽。
    这章主要是介绍一种调试方案吧。

第六周

Advice for applying maching learning

  • Evaluating a hypothesis
    把数据的70%作为training set学习参数,然后再抽取30%作为test set验证误差
    这里写图片描述

  • Model selection and training/validation/test sets
    这里面有一个问题就是,如果训练集作为学习参数的数据集,那么训练集得到的误差会蛮小。那么训练集的误差和测试集的误差相比,就会小很多,为了避免这种情况,有了交叉验证集(cross validation set) 。
    这里写图片描述

  • Bias vs. Variance
    这两个翻译成偏差和方差吧。
    这里写图片描述
    偏差针对欠拟合,方差针对过拟合。
  • Data For Machine Learning
    这里写图片描述
    在开始前,收集大量的数据。用不同的算法验证不同大小的训练集。
    结果表明,只要训练集够大,那么你的算法的准确性会更高。
    所以就有了,取得成功的人不是拥有最好算法而是拥有更多数据的人的一种理论。

这里写图片描述
counterexample是反例的意思。也就是思考给定输入数据,对于判定输出数据的合理性问题。所以前提是对于数据集,X的提供的信息要够多。
这里写图片描述
所以好的结果需要两个条件满足要求,一个条件是具有很多参数的学习算法,另外一个是需要一个相当大的数据集

第七周 Support Vector Machines

Large Margin Classification

  • Optimization objective
    这里主要介绍了cost function,从regular逻辑回归到svm的成本函数的区别。
    这里写图片描述
  • Large Margin Intuition
    这节主要讲了优化函数的意义。
    这里写图片描述
    当C比较大的时候,也就是cost function左边的部分比较大,决策边界比起一般的逻辑回归,是从粉红色的线到黑色的线,也就是说,鲁棒性比较好。
    这里写图片描述
    当C从小到大,就是黑色的线到粉红色的线,这里想讲的概念是对异常点的处理问题。黑色的线处理效果更好。
  • The mathematics behind large margin classification (optional)
    这里讲了一些数学原理,主要针对SVM的margin
  • kernel
    核函数决定了cost function,主要讨论了逻辑回归,线性核函数和高斯核函数。以及他们的应用场景。
    这里写图片描述

第八周 无监督学习

clustering

  • K-means algorithm
    这里写图片描述

    聚类讲了最简单的K-means

  • Optimization objective
    优化目标这里写图片描述
  • Random initialization
    如果k比较小的话,可以多次随机初始化,这样可能得到好的结果,因为不同的初始点,k-means聚类的结果可能并没有那么好。
  • Choosing the number of clusters
    有两种选择方式,一种是”肘部方法”,选择拐点那个地方
    这里写图片描述
    但是很多时候这个方法不适用,那就根据你聚类的目的选择方法。

Dimensionality Reduction

  • Principal Component Analysis algorithm
    这里写图片描述
    为什么这个算法有效并没有证明,其实知道中间过程也是差不多。
  • Advice for applying PCA
    这里讲了一下pca的应用情况,一种是加速算法,节约空间,或者是可视化。
    这里写图片描述
    与此同时,pca不应该拿来代替正则化。

第八周 异常检测和系统推荐

Anomaly detection

  • Gaussian distribution
    这里写图片描述
  • Developing and evaluating an anomaly detection system
    这里写图片描述
  • Choosing what features to use
    这里写图片描述
  • Multivariate Gaussian distribution
    这里写图片描述
  • Anomaly detection using the multivariate Gaussian distribution
    这里写图片描述
    这里面有一个sigma可逆的问题,多元高斯分布的sigma矩阵前提是可逆的,那就要保证选定的特征m>矩阵的行数或者列数,另外要保证特征不重复或者没有相加关系,就是保证特征行列式不为0把。

Recommender Systems

  • Collaborative filtering
    这里写图片描述
    这里举得例子是用户评分的例子,要学习两组参数,一组是用户的特征,另外一组是电影的特征。
  • Collaborative filtering algorithm
    这里写图片描述
    下面一个是: Mean normalization还有Vectorization: Low rank matrix factorization,不贴了。

第10周Large scale machine learning

  • Stochastic gradient descent
    这里写图片描述
    batch gradient descent和stochastic gradient descent的区别是,batch是利用全部数据来算,而stochastic是利用一个的数据来算梯度下降。
  • Mini-batch gradient descent
    它介于上面两者之间,有了p个数据以后迭代一次theta。
    这里写图片描述
  • Online learning
    在线学习是针对流数据调整参数,数据是不断地新产生,然后这个集合能够根据数据来不断地进行改变。
  • Map-reduce and data parallelism
    这里写图片描述
    map-reduce主要针对加法优化,multi-core也是。
    然后一些线性代数库会利用计算机的资源自动优化算法。

第11周

Application Example: Photo OCR

  • Problem description and pipeline
    pipeline的意思是,就是把一个大问题,分解成很多小问题。
    这里写图片描述
  • Getting lots of data: Artificial data synthesis
    这里主要讲,如果数据量变大的话,那么你的结果容易变好,那么什么样子的情况下,数据量会变大?
    这里写图片描述
  • Ceiling analysis: What part of the pipeline to work on next
    这里写图片描述
    就是假定这一模块完全正确,那么它的正确率能够提高多少,也就是上限能够提高的分析,如果能够提高很大的正确率,那么说明这个模块的改进空间很大,反之则不行。
版权声明:本文为博主原创文章,未经博主允许不得转载。

Andrew NG机器学习课程笔记系列之——机器学习之逻辑回归(Logistic Regression)

1. Classification 这篇文章我们来讨论分类问题(classification problems),也就是说你想预测的变量 y 是一个离散的值。我们会使用逻辑回归算法来解决分类问题。 之...
  • mydear_11000
  • mydear_11000
  • 2016年03月12日 13:30
  • 1456

Andrew Ng机器学习笔记(一)

第一篇博客,很有纪念意义,献给让人激动人心的ML,也感谢吴恩达老师的精彩讲解。1.机器学习的定义 假设用P来评估计算机程序在某任务类T上的性能,若一个程序通过利用经验E在T中任务上获得了性能改善,...
  • YUNFEIYAHG
  • YUNFEIYAHG
  • 2017年09月02日 12:31
  • 274

斯坦福:机器学习 Andrew NG超详细笔记(中英文都有)

  • 2014年07月06日 09:19
  • 11.23MB
  • 下载

Andrew Ng 机器学习笔记(二)

监督学习的应用:梯度下降 梯度下降算法思想: 先选取一个初始点,他可能是0向量,也可能是个随机点。在这里选择图中这个+点吧。 然后请想象一下:如果把这个三位图当成一个小山公园,而你整站在这个+...
  • chixujohnny
  • chixujohnny
  • 2016年03月09日 16:27
  • 614

Coursera上的Andrew Ng《机器学习》学习笔记Week1

Coursera上的Andrew Ng《机器学习》学习笔记Week1 作者:雨水/家辉,日期:2017-01-17,CSDN博客:http://blog.csdn.net/gobitan 注:本课...
  • gobitan
  • gobitan
  • 2017年01月17日 17:27
  • 789

Andrew Ng 机器学习笔记(六)

朴素贝叶斯算法 在上节课中,Andrew将邮件过滤系统中使用了朴素贝叶斯算法如何将邮件进行垃圾分类。有两个性质,一个是每个特征都只有0和1的取值,也就是说只有出现和不出现这两种情况;第二,特征向量...
  • chixujohnny
  • chixujohnny
  • 2016年03月13日 21:00
  • 419

Andrew Ng机器学习笔记1

吴恩达机器学习课程的学习笔记~
  • panglinzhuo
  • panglinzhuo
  • 2016年04月26日 16:15
  • 1370

监督学习之再聊支持向量机——Andrew Ng机器学习笔记(六)

内容提要这篇博客的主要讲的是SVM对于非线性分类情况的办法和有噪声时的处理办法,最后介绍了拉格朗日对偶问题的求解算法,主要的标题有: 1. 核函数(SVM非线性分类的解决办法) 2. 松弛变量处理...
  • A_cainiao_A
  • A_cainiao_A
  • 2016年01月02日 12:53
  • 1171

学习理论之模型选择——Andrew Ng机器学习笔记(八)

内容提要这篇博客主要的内容有: 1. 模型选择 2. 贝叶斯统计和规则化(Bayesian statistics and regularization)最为核心的就是模型的选择,虽然没有那么多复杂...
  • A_cainiao_A
  • A_cainiao_A
  • 2016年01月09日 19:07
  • 1304

Andrew Ng机器学习入门学习笔记(六)之支持向量机(SVM)

一.支持向量机的引入支持向量机(SVM)是一种极受欢迎的监督学习算法,为了引入支持向量机,我们首先从另一个角度看逻辑回归。1.从单个样本代价考虑假设函数hθ(x)=11+e−θTxh_\theta(x...
  • SCUT_Arucee
  • SCUT_Arucee
  • 2015年12月28日 15:20
  • 4689
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:andrew ng机器学习笔记
举报原因:
原因补充:

(最多只允许输入30个字)