机器学习
漫漫求索l
这个作者很懒,什么都没留下…
展开
-
机器学习(2)之正规方程组
机器学习(2)之正规方程组上一章介绍了梯度下降算法的线性回归,本章将介绍另外一种线性回归,它是利用矩阵求导的方式来实现梯度下降算法一样的效果。1. 矩阵的求导首先定义表示m×n的矩阵,那么对该矩阵进行求导可以用下式表示,可以看出求导后的矩阵仍然为m×n这里要用到矩阵迹的特性,trace. 对于一个n阶的方阵(n×n),它的迹(tr)为对角线元素之和:1. 对于一个实数,它的迹即为它本身tr a =...转载 2018-03-30 09:31:46 · 427 阅读 · 0 评论 -
机器学习(1)之梯度下降(gradient descent)
机器学习(1)之梯度下降(gradient descent)题记:最近零碎的时间都在学习Andrew Ng的machine learning,因此就有了这些笔记。 梯度下降是线性回归的一种(Linear Regression),首先给出一个关于房屋的经典例子,面积(feet2)房间个数价格(1000$)2104340016003330240033691416223230004540...........转载 2018-03-30 09:32:43 · 315 阅读 · 0 评论 -
机器学习(4)之Logistic回归
机器学习(4)之Logistic回归1. 算法推导 与之前学过的梯度下降等不同,Logistic回归是一类分类问题,而前者是回归问题。回归问题中,尝试预测的变量y是连续的变量,而在分类问题中,y是一组离散的,比如y只能取{0,1}。 假设一组样本为这样如图所示,如果需要用线性回归来拟合这些样本,匹配效果会很不好。对于这种y值只有{0,1}这种情况的,可以使用分类方法进行。 假设,...转载 2018-03-30 09:35:40 · 430 阅读 · 0 评论 -
机器学习(5)之牛顿算法
机器学习(5)之牛顿算法1. 牛顿迭代算法简介 牛顿方法应用于机器学习: 1. 使用这个方法需要f满足一定条件,适用于Logistic回归和广义线性模型2. 一般初始化为02. 在Logistic的应用 在Logistic回归中,我们要使得对数最大似然值最大,即求为0时的Θ,根据上述推论,更新规则如下: 牛顿方法的收敛速度:二次收敛 每次迭代使解的有效数...转载 2018-03-30 09:42:53 · 367 阅读 · 0 评论