广义线性模型

最新推荐文章于 2023-04-17 23:29:19 发布

雯雯要加油

最新推荐文章于 2023-04-17 23:29:19 发布

阅读量722

点赞数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/liujinwen1992/article/details/25809889

版权

这周讲的事PGM课程的第6讲，广义线性模型，涉及到许多的概念。

1、the exponential family(指数家族），它的公式就是

有很多的分布都是在指数家族中的，如多维高斯分布，伯努利分布，别的还有条件随机场和多元分布。

2、广义线性模型中学习有online learning和batch learning 批量学习

1）关于online learning和batch learning 批量学习？？

2）batch learning 批量学习中提到了海森矩阵：

在数学中，海森矩阵（Hessian matrix或Hessian）是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，此函数如下：

f(x_1, x_2, \dots, x_n),

如果f所有的二阶导数都存在，那么f的海森矩阵即：

H(f)_{ij}(x) = D_i D_j f(x)

其中 $x = (x_1, x_2, \dots, x_n)$ ，即

H(f) = \begin{bmatrix}\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1\,\partial x_n} \\ \\\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2\,\partial x_n} \\ \\\vdots & \vdots & \ddots & \vdots \\ \\\frac{\partial^2 f}{\partial x_n\,\partial x_1} & \frac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2}\end{bmatrix}

（也有人把海森定义为以上矩阵的行列式）海森矩阵被应用于牛顿法解决的大规模优化问题。

3）LMS和IRLS

Iteratively Reweighted Least Squares (IRLS) 迭代重加权最小二乘法

迭代重加权最小二乘(IRLS-It-erative Reweighted Least Squares)算法.该算法采用一个迭代过程求解一系列加权最小二乘问题,并在每一步迭代中按照一定的规则对权系数进行调整,使其逐步逼近最优拉格朗日乘子.

http://en.wikipedia.org/wiki/Iteratively_reweighted_least_squares点击打开链接

Newton-Raphson 法

点击打开链接

雯雯要加油

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。