![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
luxialan
这个作者很懒,什么都没留下…
展开
-
神经网络
“……我相信,对一个模型的最好的检验是它的设计者能否回答这些问题:‘现在你知 道哪些原本不知道的东西?’以及‘你如何证明它是否是对的?’” ——詹姆斯·鲍尔(James M.Bower) 神经网络是由具有各种相互联系的单元组成的集合。每个单元具有极为简化的神经元的 特性。神经网络常常被用来模拟神经系统中某些部分的行为,生产有用的商业化装置以及检验脑是如何工作的一般理论。 神转载 2014-08-12 11:41:47 · 968 阅读 · 0 评论 -
MP算法和OMP算法及其思想
MP算法和OMP算法及其思想主要介绍MP(Matching Pursuits)算法和OMP(Orthogonal Matching Pursuit)算法[1],这两个算法虽然在90年代初就提出来了,但作为经典的算法,国内文献(可能有我没有搜索到)都仅描述了算法步骤和简单的应用,并未对其进行详尽的分析,国外的文献还是分析的很透彻,所以我结合自己的理解,来分析一下写到博客里,算作笔转载 2014-08-16 10:50:10 · 662 阅读 · 0 评论 -
机器学习基础(四)LMS,代价函数的求解和概率意义
专门看一下代价函数的求解参数求解:上式这个更新公式就叫做LMS(least mean square)更新规则,也叫Widrow-Hoff学习规则。这是一维的情况,我们可以拓展到多维的情况,由此得到两种不同的学习(迭代方法),即批处理梯度下降法和随机梯度下降法。1.批处理梯度下降法原创 2015-01-26 14:52:12 · 1763 阅读 · 0 评论 -
机器学习基础(二)多元线性回归模型
变量多于两个时,线性回归模型就变成了多元线性回归模型:代价函数为:线性回归模型的训练(就是用梯度下降法求解最小代价函数)需要注意一些问题:1.的值1和2的值相差太多时,梯度下降法难以收敛2.学习速率代价函数应该是递减的,如果代价函数不减反增,那么很可能是学习速率太大,跳过了极小值。3.代价函数代价函数必须是凸的,否则一样存在难以收敛的问题4.过拟原创 2015-01-17 10:30:32 · 1046 阅读 · 0 评论 -
机器学习基础(一)线性回归
转载请线性回归模型是最简单的监督式学习模型:所谓的监督式学习模型就是需要通过已有的数据训练出一个最优的模型,能够表示这些已有的模型并能够预测新的数据。怎么判断模型是不是最优的呢?这就需要引入代价函数(Cost Function):怎么得到最优的模型呢?这就需要求解代价函数的最小值,也就需要引入梯度下降法。梯度下降法就是通过迭代,每一次都比之前已次更加接近代价函数的最小值,最原创 2015-01-17 09:46:34 · 707 阅读 · 0 评论 -
机器学习基础(三)Logistic回归模型
Logistic回归模型是引入Logistic函数后对线性回归模型进行的归一化处理:这样处理的结果是输出的结果在[0,1]之内,避免了某个特征影响过大。从概率的角度,我们可以将其理解为某个事件发生的可能性。代价函数为:这个代价函数的推导涉及到极大似然估计,推导如下:整合上面两式:在独立同分布的前提下,似然函数:取对数:可以原创 2015-01-18 10:50:48 · 644 阅读 · 0 评论