数值计算
文章平均质量分 62
大鹏的NLP博客
擅长自然语言处理,知识图谱,人工智能,大数据,K8S,软件工程等领域的技术及管理
展开
-
熵权法实现
一般来说,若某个指标的概率越大,不确定程度越小,信息熵越小,指标离散程度越大,提供的信息量越多,在综合评价中所能起到的作用也越大,其权重也就越大。相反,某个指标的指标的概率越小,不确定程度越小,信息熵越大,表明指标值得离散程度越小,提供的信息量也越少,在综合评价中所起到的作用也越小,其权重也就越小。而熵权法是统计学领域,与信息学领域对熵值的解释有所不同。简言之,在统计学领域中,当数据越分散时,熵值越小,可认为该数据包含信息越多,因此权重越大,这也是熵权法的解释;而在信息学领域中,数据越分散,计算熵值越小,数原创 2023-02-23 17:08:34 · 421 阅读 · 0 评论 -
牛顿法,阻尼牛顿法
泰勒公式本质就是多项式逼近推广到无穷级数逼近,在实际应用中对于具有复杂形式的函数,我们常常希望用较为简单的函数形式表示它,那多项式就是这种简单的形式。用吴文俊的话说就是:把质的困难转化成量的复杂。展开前求解函数的值很困难,展开后是幂函数的线性组合,虽然有很多很多项,但是每一项都是幂函数,因此每一项都容易求解。于是只要对展开后的求和,就能得到展开前的函数的值本质就是对于一个无穷阶连续可导的函数,它的各原创 2017-04-13 17:32:59 · 21388 阅读 · 0 评论 -
拟牛顿法之DFP算法
DFP算法(Davidon-Fletcher-Powell algorithm)一种秩2拟牛顿法.由戴维登(Davidon, W. D.)于1959年导出,并由弗莱彻(Fletcher,R.)和鲍威尔(Powe11,M. J. D.)于1963年进行了改善.对函数f(x)f(x)在x=xk+1x=x_{k+1}处进行泰勒展开到二阶: f(x)=f(xk+1)+f′(xk+1)(x−xk+1)+12原创 2017-04-25 17:00:43 · 2599 阅读 · 0 评论 -
拟牛顿法之BFGS算法
什么是拟牛顿法?拟牛顿法是在牛顿法的基础上引入了Hessian矩阵的近似矩阵,避免每次迭代都计算Hessian矩阵的逆,它的收敛速度介于梯度下降法和牛顿法之间。拟牛顿法跟牛顿法一样,也是不能处理太大规模的数据,因为计算量和存储空间会开销很多。 拟牛顿法虽然每次迭代不像牛顿法那样保证是最优化的方向,但是近似矩阵始终是正定的,因此算法始终是朝着最优化的方向在搜索。具有全局收敛性和超线性收敛速度BFGS原创 2017-04-21 13:39:24 · 8938 阅读 · 0 评论 -
拟牛顿法之L-BFGS算法
关于优化算法的求解,比如有梯度下降法,坐标下降法,牛顿法和拟牛顿法。 梯度下降法是基于目标函数梯度的,算法的收敛速度是线性的,并且当问题是病态时或者问题规模较大时,收敛速度尤其慢(几乎不适用); 坐标下降法虽然不用计算目标函数的梯度,但是其收敛速度依然很慢,因此它的适用范围也有局限; 牛顿法是基于目标函数的二阶导数(海森矩阵)的,其收敛速度较快,迭代次数较少,尤其是在最优值附近时,收敛速度是二原创 2017-04-24 17:04:42 · 1835 阅读 · 0 评论 -
凸组合
凸组合是指,假设x1,x2,...,xnx1,x2,...,xnx_1,x_2,...,x_n是一组对象(要根据讨论问题的背景来确定),a1,a2,...,ana1,a2,...,ana_1,a_2,...,a_n是n个常数,并且满足a1+a2+...+an=1a1+a2+...+an=1a_1+a_2+...+a_n=1,那么a1x1+a2x2+...+anxna1x1+a2x2+...+anx...转载 2018-02-27 15:57:20 · 6134 阅读 · 0 评论