泰勒公式--泰勒多项展开以及应用

一、概念

1.一句话概括泰勒展开式:

用多项式去无限逼近一个函数,就是将某个函数在一个点上泰勒展开。

泰勒级数是把一个函数展开,化成次方项相加的形式,目的是用相对简单的函数去拟合复杂函数,此时相对简单是看你需要的,一阶指展开的次数最高为1,二阶指展开次数最高为2。

泰勒公式的几何意义是利用多项式函数来逼近原函数,由于多项式函数可以任意次求导,易于计算,且便于求解极值或者判断函数的性质,因此可以通过泰勒公式获取函数的信息,同时,对于这种近似,必须提供误差分析,来提供近似的可靠性。

2.为什么需要展开?(泰勒展开有什么用?)

a.方便求一些函数值,因为泰勒展开是多项式,而多项式的值一般都很好求,只要代入变量,就可求出因变量。而很多函数的函数值很难求,例如sinx,lnx这类的。
b.方便计算,简化问题:

3.泰勒公式的余项

泰勒公式的余项有两类:一类是定性的皮亚诺余项,另一类是定量的拉格朗日余项。这两类余项本质相同,但是作用不同。一般来说,当不需要定量讨论余项时,可用皮亚诺余项(如求未定式极限及估计无穷小阶数等问题);当需要定量讨论余项时,要用拉格朗日余项(如利用泰勒公式近似计算函数值)

二、应用

1.一阶泰勒展开

梯度下降法和一阶泰勒展开

泰勒展开就包含了梯度,从梯度的定义(方向导数最大)出发就可以得出优化方向:负梯度,这个有手推公式,下次补上。

顺便提一嘴:为什么要用梯度下降?

在机器学习领域中,建模需要loss损失函数,模型越优,loss越小,函数求导=0找极值。

机器学习中,有两种求极值的办法,一种是解析解,一种是梯度下降(特征维度超多时,如one-hot后用)

当你建模的特这个x的维度特别大,超过1000维度,那么解析解计算就很费事,所以借助梯度下降来牺牲时间 换空间的方式来计算,得到一个近似解

那为什么梯度下降就可以使得我这个x越来越靠近极值点,为什么不朝着其他的方向尽进行下降,
重点:梯度下降具有最快下降到极值点的性能。具有最快的下降速度

这个就用到一阶泰勒展开

2.二阶泰勒展开

xgboost和二阶泰勒,以及二阶泰勒的优势

因为这样做使得我们可以很清楚地理解整个目标是什么,并且一步一步推导出如何进行树的学习。这一个抽象的形式对于实现机器学习工具也是非常有帮助的。传统的GBDT可能大家可以理解如优化平法残差,但是这样一个形式包含可所有可以求导的目标函数。

xgboost使用二阶泰勒展开的目的和优势有一下两方面:

1、xgboost是以mse为基础推导出来的,在mse的情况下,xgboost的目标函数展开就是一阶项+二阶项的形式,而其他类似logloss这样的目标函数不能表示成这种形式。为了后续推导的统一,所以将目标函数进行二阶泰勒展开,就可以直接自定义损失函数了,只要二阶可导即可,增强了模型的扩展性。

2、二阶信息能够让梯度收敛的更快,类似牛顿法比SGD收敛更快。一阶信息描述梯度变化方向,二阶信息可以描述梯度变化方向是如何变化的。

二阶泰勒展开的优势是相对于一阶而言的,和牛顿方法相对于梯度下降类似,都是为了更准确的找到最优解,重点。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Alex_81D

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值