机器学习
没戏迷
这个作者很懒,什么都没留下…
展开
-
误差来自哪里
Bias和VarianceBias类似正态分布中的均值,Variance类似正态分布中的方差。Variance会随着数据量的增大而减小。当构造的函数比较简单时,Variance比较小,Bias比较大,反之亦然,随着数据量的增加,Bias会逐渐减小,Variance会先减小后增大,因为存在过拟合的问题,如图所示因此,如果在训练数据上表现不好,有可能是Bias过大造成的欠拟合的问题,可以通过增大...原创 2018-12-07 17:21:59 · 191 阅读 · 0 评论 -
Gradient Descent
梯度下降法是为了求出最小的Loss Function而开始使用的,下面介绍几种常用的梯度下降法Adagrad理论上来说,随着梯度越来越趋向于0,学习率也应该越小越好,对于不同的参数来说,学习率也不应该是相同的。所以发明了这一种方法:这个公式的意义是,分子代表给大的梯度大的学习率,分母起到了相反的效果,他们之间相互牵制,我认为有一种阴阳平衡的思想蕴含在其中SGD(随机梯度下降法)SG...原创 2018-12-07 17:49:41 · 148 阅读 · 0 评论 -
Classification
首先由概率论引出二分类的问题,如图我们可以尝试对每一个类别计算出它的均值和方差,算出它的正态分布模型,进而带入以上公式进行计算,取概率最大者,用这种方法我们可以计算出训练数据中未曾出现过的数据的类别,由于方差不同,这样的对比总的来说是不公平的,于是我们尝试给不同的正态分布相同的方差,新的方差等于各自分布所拥有的数据量占总数据量的比例与各自方差的乘积再求它们的和,这样即起到了相对公平的作用,也减...原创 2018-12-07 18:23:50 · 267 阅读 · 0 评论 -
Logistic Regression
逻辑回归虽然名字里带有回归二字,但是它实际上是一种解决二分类问题的方法,它的数学表达式也是神经网络中常用的一种激活函数,我们可以从上一节分类问题的公式中推导出逻辑回归的数学表达式,如下图所示其中的z可以是线性回归中的线性函数,因此逻辑回归名字中带有回归二字,它可以说是一种特殊的线性回归,不过它终究是用来处理分类问题的,这也许就是神经网络的灵感来源,如图所示对于分类问题,由于它的结果是不连续...原创 2018-12-07 19:25:12 · 236 阅读 · 2 评论 -
机器学习简介
什么是机器学习机器学习就是通过已知数据来找出一个函数,这个函数能反映出这组数据的规律,并能够通过这个函数达到对未知数据进行预测的效果,它可以抽象为三步:找出一个大致的函数集合在函数集合中找出最为匹配的函数通过训练数据进行检验应用到未知数据上机器学习方法## supervised learning有监督学习的训练数据是有标签的,即已知训练数据的输入X以及其对应的输出Y ## R...原创 2018-12-07 11:38:33 · 163 阅读 · 0 评论 -
Linear Regression简介
何为Regression上一节我们已经讲到过,Regression的特点就是它的输出是一个具体的数值,不同的数值具有不同的意义Linear ModelLinear Regression的Model的通常的形式为:w和x都可以是向量的形式,他们一一对应,我们训练的目的就是找出最好的w和b,使其在训练数据上对应的y的预测尽可能的准确Loss Function为了计算出最好的w和b,我们引...原创 2018-12-07 12:36:37 · 505 阅读 · 0 评论