![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
jiangjunlanzhoulan
这个作者很懒,什么都没留下…
展开
-
极大似然估计
极大似然估计 以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下:贝叶斯决策 首先来看贝叶斯分类,我们都知道经典的贝叶斯公式: 但是在实际问题中并不都是这样幸运的,我们能获得的数据可能只有有限数目的样本数据,而先验...原创 2018-03-30 11:10:19 · 254 阅读 · 0 评论 -
最小二乘法
一、引言 机器学习中的一个大类的问题就是分类问题。分类在我们的生活中也是很常见的,比如说,你刚进入大学,要分清哪些同学喜欢玩游戏,哪些喜欢学习,这样,你想玩游戏的时候可以找爱玩游戏的同学一起,你学习遇到难题可以找喜欢学习的同学请教。当然,你的好友可以同时做到以上两点那是最好不过的了。 还要提一下分类和回归的区别,当我们要解决的问题是预测的离散值的时候,也就是上面提到的例子,分清哪些人喜欢玩游戏,哪...转载 2018-03-30 11:53:36 · 165 阅读 · 0 评论 -
Logistics Regress(逻辑回归)
模型构建在介绍Logistic Regression之前我们先简单说一下线性回归,,线性回归的主要思想就是通过历史数据拟合出一条直线,用这条直线对新的数据进行预测,线性回归可以参考我之前的一篇我们知道,线性回归的公式如下: 而对于Logistic Regression来说,其思想也是基于线性回归(Logistic Re...原创 2018-03-24 19:55:34 · 369 阅读 · 0 评论 -
Softmax回归
简介在本节中,我们介绍Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的,该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的,不过后面也会介绍它与深度学习/无监督学习方法的结合。(译者注: MNIST 是一个手写数字识别库,由NYU 的Y...翻译 2018-03-24 20:21:38 · 114 阅读 · 0 评论 -
LR和SVM的区别
(1)为什么将LR和SVM放在一起来进行比较?回答这个问题其实就是回答LR和SVM有什么相同点。第一,LR和SVM都是分类算法。看到这里很多人就不会认同了,因为在很大一部分人眼里,LR是回归算法。我是非常不赞同这一点的,因为我认为判断一个算法是分类还是回归算法的唯一标准就是样本label的类型,如果label是离散的,就是分类算法,如果label是连续的,就是回归算法。很明显,LR的训练数据的la...转载 2018-03-24 21:33:50 · 506 阅读 · 0 评论 -
梯度下降法的三种形式BGD、SGD以及MBGD
比较好的其他链接:https://www.cnblogs.com/pinard/p/5970503.html 在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的假设函数为: ...转载 2018-03-24 22:08:30 · 117 阅读 · 0 评论 -
卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题
第一个问题:模型过拟合1.1 什么是过拟合所谓过拟合(Overfit),是这样一种现象:一个假设在训练数据上能够获得比其他假设更好的拟合,但是在训练数据外的数据集 上却不能很好的拟合数据。此时我们就叫这个假设出现了overfit的现象。 1.2 造成过拟合的原因 如上图所示:过拟合,就是拟合函数需要顾忌每一个点,最终形成的拟合函数波动很大。在某些很小的区间里,函数值的变化很剧烈。这就意味着函数在某...原创 2018-03-25 21:30:47 · 1062 阅读 · 0 评论