Machine Learning from Stanford
seamanj
这个作者很懒,什么都没留下…
展开
-
ML 14 part2 principal component analysis
Given m samples in RnR^n The goal is to find the direction uu along which maximizing the sum of projection of each point uu So to speak, uu ought to be the eigenvectors of the matrix Σ\Sigma H原创 2016-07-08 22:31:21 · 777 阅读 · 0 评论 -
Lesson 2 Gradient Desent
The goal is to find XX such that minXf(X)\underset{X}{min}f(X)Using gradient descent algorithm to obtain the minimum value of the funtion. let y=f(x)y = f(x) Init: x=x0,y0=f(x0)x = x_0, y_0=f(x_0), i原创 2016-07-10 14:35:22 · 604 阅读 · 0 评论 -
Lesson 4 Part 2 Softmax Regression
首先为了防止混淆,我这里用了自已定义的一些变量i 在样本中遍历,样本数量为m j 在特征中遍历,特征数量为n k 在分类中遍历,分类数量为cIn these notes, we describe the Softmax regression model. This model generalizes logistic regression to classification problems w原创 2015-11-19 10:15:55 · 727 阅读 · 0 评论 -
Lesson 2 Gradient Desent
首先引用下郑海波师兄的博文梯度下降法是一个一阶最优化算法,通常也称为最速下降法。我之前也没有关注过这类算法。最近,听斯坦福大学的机器学习课程时,碰到了用梯度下降算法求解线性回归问题,于是看了看这类算法的思想。今天只写了一些入门级的知识。我们知道,函数的曲线如下:编程实现:c++ code/* * @a原创 2014-01-16 15:22:39 · 1828 阅读 · 0 评论 -
Lesson 3 Part 1 Locally weighted regression
局部加权紧接着上面的线性回归中参数求解来继续讲吧。还是以上面的房屋价格的预测,它的中心思想是在对参数进行求解的过程中,每个样本对当前参数值的影响是有不一样的权重的。比如上节中我们的回归方程为(这个地方用矩阵的方法来表示Ɵ表示参数,i表示第i个样本,h为在Ɵ参数下的预测值):我们的目标是让最小,然后求出来Ɵ,再代入h中就可以得到回归方程了。 但是如原创 2014-01-20 21:15:47 · 1234 阅读 · 1 评论 -
Lesson 3 Part 2 logistic regression
今天看SVM(支持向量机),开始先引入了logistic函数,虽然给出了一公式,但好奇logistic函数啥东东啊,为啥叫logistic呢,搜索ing。 说简单些,logistic函数其实就是这样一个函数:非常简单吧,这个函数的曲线如下所示:很像一个“S”型吧,所以又叫 sigmoid曲线(S型曲线)。%%%%%%%原创 2014-01-21 01:21:25 · 1087 阅读 · 0 评论 -
Lesson 4 Part 1 Newton's method
转自http://blog.csdn.net/luoleicn/article/details/6527049原创 2014-06-09 10:15:40 · 884 阅读 · 0 评论 -
ML 12 & 13 mixture of gaussions and EM
先来看下普通的EM算法: 该算法的目的是给的一些样本点,然后反推符合这些样本点所属分布函数们(可能有多个)的参数 z(i)=jz^{(i)}=j表示是第jj个分布函数,Qi(z(i)=j)Q_i(z^{(i)}=j)表示第i个点属于第j个分布函数的概率,ii表示对第i个点而言,可以把z当成向量,i表示z的第i个分量 为了使这里的不等式变成等式,那么 通过这里的不等式变等式(E ste原创 2016-08-24 04:25:38 · 553 阅读 · 0 评论