【机器学习】【base】 之 目标函数 损失函数 优化算法

原创 2016年08月30日 21:19:44

目录

机器学习的核心是一个模型,一个损失函数loss fuction(由目标函数得出),加上一个优化算法。一个损失函数可以用不同的优化算法,不同的损失函数也可以用相同的优化算法。

目标函数定义

最大似然(MLE),最大后验(MAP)都是构造目标函数的方法,是参数估计的方法之一。

最大似然方法

最大似然估计,只是一种概率论在统计学的应用,它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。最大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。
求最大似然函数估计值的一般步骤:
(1) 写出似然函数
(2) 对似然函数取对数,并整理
(3) 求导数
(4) 解似然方程

对于线性回归问题,它的模型是p(y|x)=N(wTx,σ2),我们采用最大似然来构造一个目标函数。
此时线性回归的loss function是”最小二乘公式”。
最后用梯度下降来找到目标函数的最值。当然,对于这个问题,我们也可以不用梯度下降,直接用向量的投影来直接算出最优解的表达式。即“最小二乘法”。
ps:最小二乘法是一种算法,最小二乘公式是一个loss function.

Logistic regression 的模型是p(y|x)=Ber(y|sigm(wTx)),Ber是伯努利分布,sigm是logistic sigmoid函数,我们采用最大似然来构造一个目标函数。
此时Logistic regression的loss function是交叉熵.
与之前的问题不同,这个目标函数比较复杂,是无法像线性回归那样一步直接算出最终的解的,但是,这个目标函数是凸的,所以我们依然能用梯度下降或者牛顿法来来找到它的最优解。

因为各自的响应变量服从不同的概率分布。在Linear Regression中,前提假设y是服从正态分布。而Logistic中的y是服从二项分布的(为什么不服从正态?因为非0即1啊!),因而,在用极大似然估计计算时,所得到的cost function自然是不一样的。

岭回归是给参数 w 加上一个高斯的先验分布,并用最大后验来构造目标函数,那么,这就相当于给目标函数加上一个L2正则项。如果我们给参数 w 加上一个拉普拉斯的先验分布,那么我们可以让 w 变得更加稀疏。我们还可以接着往下走,利用后验分布来进行模型平均(model averaging),得到更加完整的贝叶斯方法,

最优化算法

优化方法中,有一类是使用函数的梯度信息,包括一阶的方法,例如梯度下降、最小二乘法都是通过求导来求损失函数的最小值, 使得估算值与实际值的总平方差尽量更小;以及二阶的方法,例如牛顿法等。当然,还有和梯度无关的方法,例如 fixed point iteration,坐标下降等

最小二乘

最小二乘可以由高斯噪声假设+极大似然估计推导出来
最小二乘法是直接对Δ求导找出全局最小,是非迭代法。

梯度下降

而梯度下降法是一种迭代法,先给定一个β,然后向Δ下降最快的方向调整β,在若干次迭代之后找到局部最小。梯度下降法的缺点是到最小点的时候收敛速度变慢,并且对初始点的选择极为敏感,其改进大多是在这两方面下功夫。

参考文档:

https://www.zhihu.com/question/24900876

版权声明:本文为博主原创文章,未经博主允许不得转载。

玩转机器学习目标函数

机器学习中的目标函数,哟
  • zhouyongsdzh
  • zhouyongsdzh
  • 2014年05月01日 17:00
  • 1812

机器学习中常见的几种优化方法

机器学习中常见的几种优化方法 声明:本文为转载,原文作者为:Poll的笔记,原文链接为:http://www.cnblogs.com/maybe2030/p/4751804.html#rd,尊重原创...
  • u012328159
  • u012328159
  • 2016年06月08日 15:11
  • 6526

机器学习的损失函数

机器学习的数学本质上是优化问题的求解,求解优化问题首先得构造相应优化问题的损失函数,本文将简要介绍squared loss、cross entropy、hinge loss、exponential l...
  • Young_Gy
  • Young_Gy
  • 2017年02月27日 11:10
  • 951

机器学习之----初体验

近年来,我们可以看到人工智能在各种领域展露手脚,国际上最有名的当属谷歌大脑项目,从2006年深度学习被提出后,到12年,深度学习使语音识别和图像识别取得了巨大的突破,可惜的是在自然语言识别问题上,深度...
  • wei4zheng
  • wei4zheng
  • 2016年03月07日 22:03
  • 1191

机器学习的基本概念

顾名思义,机器学习的目的就是让机器具有类似于人类的学习、认识、理解事物的能力。试想一下,如果计算机能够对大量的癌症治疗记录进行归纳和总结,并能够给医生提出适当的建议和意见,那对病人的康复来说,是多么的...
  • carson2005
  • carson2005
  • 2011年05月02日 19:45
  • 5363

3 损失函数和优化

为了描述之前建立的线性分类器的分类效果,我们引入的损失函数,顾名思义,损失函数越大误差也就越大。 在下图的任务中,将测试图片猫、车和青蛙输入网络,输出了一系列的数值,如下表。 很显然我们希望图...
  • fffupeng
  • fffupeng
  • 2017年06月07日 20:42
  • 319

机器学习中常见的损失函数

机器学习中常见的损失函数   一般来说,我们在进行机器学习任务时,使用的每一个算法都有一个目标函数,算法便是对这个目标函数进行优化,特别是在分类或者回归任务中,便是使用损失函数(Loss Functi...
  • heyongluoyao8
  • heyongluoyao8
  • 2016年09月07日 19:16
  • 29197

机器学习之一:一些基本观点

1.机器学习的含义
  • Karry_
  • Karry_
  • 2015年07月07日 17:02
  • 474

keras中的目标函数和优化函数

目标函数就是我们常说的损失函数,优化函数就是我们常说的反调参数的函数,包括:梯度下降函数、随机梯度下降函数等。 这些我相信大家都很清楚了,下面我就简单的介绍一下keras提供的常见的目标函数和优化函...
  • zjm750617105
  • zjm750617105
  • 2016年05月05日 15:27
  • 8374

Keras中自定义目标函数(损失函数)的简单方法

机器学习 python keras
  • Kyf_Coffee
  • Kyf_Coffee
  • 2016年12月28日 22:27
  • 10288
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:【机器学习】【base】 之 目标函数 损失函数 优化算法
举报原因:
原因补充:

(最多只允许输入30个字)