![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
《Machine Learning,Andrew Ng》
文章平均质量分 90
mmc2015
北大信科学院,关注深度强化学习。http://net.pku.edu.cn/~maohangyu/
展开
-
斯坦福大学公开课 :机器学习课程(Andrew Ng)——5、监督学习:Support Vector Machine,引
1)简单说明2)再说logistic回归3)支持向量机的假设表示4)函数间隔(functional margin)和几何间隔(geometric margin) 4.1)函数间隔 4.2)几何间隔5)最优间隔分类器(optimal margin classifier)6)简单总结1)简单说明 支持向量原创 2015-01-03 21:40:08 · 1626 阅读 · 2 评论 -
Ng机器学习系列补充:1、决策树算法ID3和C4.5
机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM,国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART,它们在数据挖掘领域都产生原创 2015-01-08 15:32:27 · 2810 阅读 · 0 评论 -
Ng机器学习系列补充:5、网页排名算法PageRank和文档排名算法DocRank
机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM,国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART,它们在数据挖掘领域都产生原创 2015-01-10 11:33:30 · 1925 阅读 · 0 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——6、监督学习:Support Vector Machine,破
6)拉格朗日对偶(Lagrange duality)先抛开上一节的二次规划(最小值)问题。对于存在等式约束的极值问题求解,通过引入拉格朗日算子构造拉格朗日公式就可以完美解决。对于存在不等式约束的极值问题求解,如下: 我们定义更一般化的拉格朗日公式:因为我们求解的是最小值,而这里的已经不严格等于0,而是小于等于0,我们虽然可以将调整成很大的正值以使函数的结果原创 2015-01-04 11:51:25 · 1452 阅读 · 0 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——7、监督学习:Support Vector Machine,立
9)规则化和不可分割情况(Regularization and the non-separable case) 之前的讨论都是建立在样例线性可分的假设上,当样例线性不可分时,我们可以尝试使用核函数将特征映射到高维,这样很可能就可分了。然而,映射后我们也不能100%保证可分。这时候我们应该允许一些点游离并在模型中违背限制条件(函数间隔大于1)。对应下面两幅图,我们更希望得到第一幅而不是第二原创 2015-01-04 17:27:53 · 1119 阅读 · 0 评论 -
Ng机器学习系列补充:4、关联分析算法FP_Growth
机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM,国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART,它们在数据挖掘领域都产生原创 2015-01-09 11:43:14 · 2497 阅读 · 0 评论 -
Ng机器学习系列补充:7、神经网络反向传播BP算法(Back Propagation)
机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM,国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART,它们在数据挖掘领域都产生原创 2015-01-14 11:54:02 · 2437 阅读 · 0 评论 -
Ng在coursera上的机器学习公开课——zai总结(2)_Octave Tutorial
1)Octave Tutorial rand、randn、hist、sqrt、ones、zeros、printf、eye。。。。原创 2015-01-22 20:12:49 · 1050 阅读 · 0 评论 -
Ng机器学习系列补充:3、关联分析算法Apriori
机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM,国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART,它们在数据挖掘领域都产生原创 2015-01-08 20:32:05 · 903 阅读 · 0 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——12、无监督学习:Factor Analysis
1)问题描述2)协方差矩阵的限制3)多元高斯分布的边缘分布和条件分布4)因子分析的例子5)因子分析模型6)因子分析的EM估计‘7)简单总结1)问题描述 之前我们考虑的训练数据中样例的个数m都远远大于其特征个数n,这样不管是进行回归、聚类等都没有太大的问题。 然而当训练样例个数m太小,甚至m变成奇异阵(),也就是说不存在,根原创 2015-01-06 14:31:07 · 2633 阅读 · 1 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——2、监督学习:Regression and Classification
0)回归和分类本来是一个事情,区别是:目标是连续值的称为回归,目标是离散值的称为分类。1)线性回归(Linear Regression)——拟合连续数据2)加权线性回归(Weighted Linear Regression)——lazy,similar to KNN3)logistic回归——拟合0/1二值分类问题4)误差函数(error function)5)最小化误原创 2015-01-02 15:50:36 · 1501 阅读 · 0 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——4、监督学习:Naive Bayes
0)GDA要求输入特征x是连续型随机变量;朴素贝叶斯分类方法适用于输入特征x是离散值的情况,主要目的是确定后验概率p(x|y)。1)朴素贝叶斯模型(Naive Bayes Model) 1.1)朴素贝叶斯假设 1.2)朴素贝叶斯模型的构建——以邮件分类为例 1.3)应用朴素贝叶斯模型分类新邮件 1.4)朴素贝叶斯模型的一些问题2)拉普拉斯平原创 2015-01-02 20:16:19 · 3656 阅读 · 0 评论 -
Ng在coursera上的机器学习公开课——zai总结(1)_梯度下降
1)关于梯度下降 学习速率α太大甚至会导致发散;(梯度会随着迭代逐渐增大以致发散) 学习速率α太小学习比较慢,但最终会收敛; 最后强调,只要α足够小,一定会收敛,且不必到后面人工减小α的值!(梯度会随着迭代逐渐减小)原创 2015-01-22 19:46:31 · 1118 阅读 · 0 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——11、无监督学习:the derivation of EM Algorithm
1)Convex Functions and Jensen’s inequality2)Derivation of the EM-algorithm1)Convex Functions and Jensen’s inequalityif f is a convex function, X is r.v, then: 。特别地,当且仅当,也就是说X是原创 2015-01-06 12:58:20 · 1577 阅读 · 0 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——13、无监督学习:Principal Component Analysis (PCA)
1)问题起源 真实的训练数据总是存在各种各样的问题: 1、 比如拿到一个汽车的样本,里面既有以“千米/每小时”度量的最大速度特征,也有“英里/小时”的最大速度特征,显然这两个特征有一个多余。 2、 拿到一个数学系的本科生期末考试成绩单,里面有三列,一列是对数学的兴趣程度,一列是复习时间,还有一列是考试成绩。我们知道要学好数学,需要有浓厚的兴趣,所以第二项与第一项强相关,第原创 2015-01-06 15:23:32 · 2543 阅读 · 0 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——1、整体看一看
============================================================================【课程综述】============================================================================第一课时: 机器学习的定义【 The Definition of Ma原创 2015-01-02 15:45:07 · 3869 阅读 · 0 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——8、监督学习:Learning Theory
1)交叉验证(Cross validation) 1.1)hold-out cross validation或者称为简单交叉验证 1.2)k-fold cross validation(k-折叠交叉验证) 1.3)leave-one-out cross validation2)特征选择(Feature selection) 2.1)封装特征选原创 2015-01-04 19:53:04 · 2064 阅读 · 1 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——9、无监督学习:K-means Clustering Algorithm
1)K-means聚类算法(K-means Clustering Algorithm)描述2)2-means聚类算法(K-means Clustering Algorithm)效果展示图片3)k-means聚类算法(K-means Clustering Algorithm)收敛性简述4)支持k-means聚类算法(K-means Clustering Algorithm)有效性的...原创 2015-01-05 10:52:58 · 3045 阅读 · 3 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——10、无监督学习:Mixture of Gaussians and the EM Algorithm
1原创 2015-01-05 13:15:28 · 1907 阅读 · 0 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——14、无监督学习:Independent Component Analysis(ICA)
1)问题描述 1、上节提到的PCA是一种数据降维的方法,但是只对符合高斯分布的样本点比较有效,那么对于其他分布的样本,有没有主元分解的方法呢? 2、经典的鸡尾酒宴会问题(cocktail party problem)。假设在party中有n个人,他们可以同时说话,我们也在房间中一些角落里共放置了n个声音接收器(Microphone)用来记录声音。宴会过后,我们从n个麦克风中得到原创 2015-01-06 19:20:47 · 1801 阅读 · 0 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——15、无监督学习:Reinforcement Learning and Control
在之前的讨论中,我们总是给定一个样本x,然后给出或者不给出label y。之后对样本进行拟合、分类、聚类或者降维等操作。然而对于很多序列决策或者控制问题,很难有这么规则的样本。比如,四足机器人的控制问题,刚开始都不知道应该让其动那条腿,在移动过程中,也不知道怎么让机器人自动找到合适的前进方向;比如,象棋的AI,每走一步实际上也是一个决策过程,虽然对于简单的棋有A*的启发式方法,但在局势复杂时,仍然原创 2015-01-06 19:29:12 · 2030 阅读 · 0 评论 -
Ng机器学习系列补充:2、分类和回归树算法CART
机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM,国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART,它们在数据挖掘领域都产生原创 2015-01-08 16:01:25 · 1683 阅读 · 0 评论 -
Ng机器学习系列补充:6、集成学习算法AdaBoost(Adaptive Boosting)
机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM,国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART,它们在数据挖掘领域都产生原创 2015-01-10 15:08:32 · 3207 阅读 · 0 评论 -
斯坦福大学公开课 :机器学习课程(Andrew Ng)——3、监督学习:Gaussian Discriminant Analysis (GDA)
1)判别模型和生成模型(Discriminative/Generative Model)2)高斯判别分析(Gaussian Discriminant Analysis(GDA)) 2.1) 多元正态分布 2.2) 高斯判别模型分析 2.3) 利用高斯判别模型进行分类 2.4)高斯判别分析(GDA)与logistic回归的关系1)判别模原创 2015-01-02 19:23:23 · 3395 阅读 · 6 评论