4 Generalized linear models

最新推荐文章于 2023-08-21 12:01:30 发布
最新推荐文章于 2023-08-21 12:01:30 发布
阅读量1k 收藏
点赞数
分类专栏： Machine learning 文章标签： 牛顿方法 指数族 广义线性模型 softmax回归 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a635661820/article/details/43604799
版权
这篇学习笔记详细介绍了广义线性模型（GLM），包括指数族的概念，如何证明伯努利分布和高斯分布属于指数分布族，以及如何使用GLM构建线性回归和逻辑回归模型。此外，还探讨了Softmax回归，证明了多项分布也是指数族的一员，并推导了Softmax回归的模型。
摘要由CSDN通过智能技术生成

本学习笔记参考自Andrew的机器学习课程(点此打开), 内容来自视频以及其讲义, 部分内容引用网友的学习笔记,会特别注明


课程内容
1.牛顿方法 
2.指数族 
3.广义线性模型
4.softmax回归

牛顿方法
一个问题的引入

对于一个函数f(θ)如何找到θ使得f(θ) = 0? 牛顿方法可以用来解决这个问题，图解描述如下：

先找一个初始的θ,过点(θ, f(θ))做曲线的切线，并且与x轴交的一点便是新的θ，这个新的θ记为θ^(1),初始的θ记为θ^(0)，斜率记为f'(θ),由图中的三角形可以得到如下关系式：

最低0.47元/天 解锁文章
a635661820
关注
专栏目录
文献学习(part25)--Regularization Paths for Generalized Linear Models via Coordinate Descent
小山羊的学习日志
01-19 637
学习笔记，仅供参考，有错必究 文章目录Regularization Paths for Generalized Linear Models via Coordinate Descent摘要简介Lasso, Ridge回归和Elastic Net的算法Naive(朴素)更新Covariance(协方差)更新Sparse(稀疏)更新Weighted(加权的)更新Pathwise坐标下降其他细节 Regularization Paths for Generalized Linear Models via Co
R语言广义线性模型函数GLM、广义线性模型（Generalized linear models）、GLM函数的语法形式（Generalized linear models and glm）
data+scenario+science+insight
02-12 1422
R语言广义线性模型函数GLM、广义线性模型（Generalized linear models）、GLM函数的语法形式（Generalized linear models and the glmfunction）
An Introduction to Generalized Linear Models 4th ed
09-10
The original purpose of the book was to present a unified theoretical and conceptual framework for statistical modelling in a way that was accessible to undergraduate students and researchers in other fields. The second edition was expanded to include nominal and ordinal logistic regression, survival analysis and analysis of longitudinal and clustered data. It relied more on numerical methods, visualizing numerical optimization and graphical methods for exploratory data analysis and checking model fit. The third edition added three chapters on Bayesian analysis for general- ized linear models. To help with the practical application of generalized linear models, Stata, R and WinBUGS code were added. This fourth edition includes new sections on the common problems of model selection and non-linear associations. Non-linear associations have a long history in statistics as the first application of the least squares method was when Gauss correctly predicted the non-linear orbit of an asteroid in 1801. Statistical methods are essential for many fields of research, but a widespread lack of knowledge of their correct application is creating inaccu- rate results. Untrustworthy results undermine the scientific process of using data to make inferences and inform decisions. There are established practices for creating reproducible results which are covered in a new Postface to this edition.
显示参数的变量名称_连续变量假设检验 之 多变量重复测量数据方差分析
weixin_29361879的博客
12-27 1476
在医学研究中，数据的反应变量不止一个时，称为多变量数据。具体看下面示例：示例：某医生需评价一种新食谱对具有家族遗传性心脏病患者的作用。16名患者进行了6个月的饮食实验，实验指标为体重和三酰甘油水平，并在实验过程中重复测量了5次。研究者想知道在实验过程中患者的体重和三酰甘油水平是否有变化。1. 数据录入： 在SPSS的“变量视图”中设置共12个变量：patid 表示编号，数值型；gender 表示患...
广义线性模型（Generalized Linear Models）
weixin_30824277的博客
08-17 508
转载请注明出自BYRans博客：http://www.cnblogs.com/BYRans/ 前面的文章已经介绍了一个回归和一个分类的例子。在逻辑回归模型中我们假设： 在分类问题中我们假设： 他们都是广义线性模型中的一个例子，在理解广义线性模型之前需要先理解指数分布族。 指数分布族（The Exponential Fami...
09 Generalized linear models and the exponential family
zzk0126的博客
08-21 152
9.3 广义线性模型(Generalized linear models,缩写为GLMs) 线性回归和逻辑回归都属于广义线性模型的特例(McCullagh and Nelder 1989). 这些模型中输出密度都是指数族分布(参考本书9.2),而均值参数都是输入的线性组合,经过可能是非线性的函数,比如逻辑函数等等.下面就要详细讲一下广义线性模型(GLMs).为了记号简单,先看标量输出的情况.(这就排除了多远逻辑回归,不过这只是为表述简单而已.) 9.3.1 基础知识 要理解广义线性模型,首先要考虑一个标量响
generalized Linear Models
Mr.Lau的博客
03-22 918
经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型：自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。本篇是对逻辑回归的学习总结，以及广义线性模型导出逻辑回归的过程。下一篇将是对最大熵模型的学习总结。本篇介绍的大纲如下： 1、逻
广义线性模型--Generalized Linear Models
热门推荐
百川的博客
03-28 2万+
监督学习问题： 1、线性回归模型： 适用于自变量X和因变量Y为线性关系 2、广义线性模型： 对于输入空间一个区域改变会影响所有其他区域的问题，解决为：把输入空间划分成若干个区域，然后对每个区域用不同的多项式函数拟合 是为了克服线性回归模型的缺点出现的，是线性回归模型的推广。 首先自变量可以是离散的，也可以是连续
an introduction to generalized linear models second edition dobson
09-18
4. **链接函数的选择**： - **恒等链接**：适用于正态分布。 - **对数链接**：适用于泊松分布和伽玛分布。 - **logit链接**：适用于二项分布。 5. **模型评估与诊断**： - **残差分析**：检查模型的假设是否...
[更新ing]sklearn(十一)：Generalized Linear Models
u014765410的博客
09-30 353
LinearRegression 1、目标函数：ordianry least squares 2、ordionary least squares based coefficient 估计，要求特征之间相互独立，如果特征之间存在collinear，那么X matrix将为奇异矩阵，无法用公式求得coefficient，此外，如果特征之间存在collinear，则least squares esti...
9 empirical risk minimization(ERM)
天道酬勤，做一个务实的理想主义者
02-14 3337
本集内容 1. 偏差/方差(Bias/variance) 2. 经验风险最小化(empirical risk minimization (ERM)) 3.  联合界引理union bound/Hoeffding不等式 4. 一致收敛(uniform convergence) 开篇Andrew Ng[大概]:  To me what really separeates th
3 Locally weighted linear regression, logistic Regression
天道酬勤，做一个务实的理想主义者
02-07 1421
本集课程内容   1. 局部加权线性回归 Locally weighted linear regression 2. 线性回归的解释 Probabilistic interpretation 3. logistic 回归 4. 感知器的学习算法The perceptron learning algorithm   模型中常见问题   1.欠拟合(underfitting)
10 Cross validation, VC dimension
天道酬勤，做一个务实的理想主义者
02-15 1245
本集内容 1. VC维 2. 交叉验证 3. 特征选择 VC维和关于无限假设类的情况 上一节推导了由ERM选择出来的假设的一般误差与最好假设的一般误差的关系，即下面这个不等式，成立的概率至少是1-δ 但是这一系列的推导都是假设我们的假设类是有限的，大小为k，待会儿会把一些结论推广到无限类情况。现在先假设一个假设类H有d个参数，就是
2 Linear Regression, Gradient descent
天道酬勤，做一个务实的理想主义者
02-01 1079
本集课程内容 1.线性回归 Linear Regression 2.梯度下降 Gradient descent 3.正规方程组 the normal equations 问题引入 课程开始介绍了一个自动驾驶的例子，里面所用到的算法就是有监督的学习(驾驶员提供正确的答案供汽车开始学习)，其实这是一个回归问题，因为该算法输出代表着汽车的方向，是一个连续值。本集课程
8 Support vector machine(3)
天道酬勤，做一个务实的理想主义者
02-13 1043
本集内容 1. 核函数(kernels) 2. 软间隔(Soft Margin) 3. SMO算法 核函数 特征映射 首先在前面第三节内容中，有一个面积—房价关系的例子，如果只考虑面积一个特征，那么我们用线性规划得到的结果是一条直线，但事实上这条直线的表现是欠拟合的。更符合实际情况的或许是一个二次曲线，那么要从一个特征通过线性规划得到一个回归结果
7 Support vector machine(2)
天道酬勤，做一个务实的理想主义者
02-11 1018
本集内容 1.最优间隔分类器 2.原始优化、对偶优化 3.KTT条件 4.SVM dual 5.核方法(kernels) 最优间隔分类器 上一节里面介绍了函数间隔，几何间隔，我们知道要想获得一个好的模型，必须使这些间隔最大化，我们用如下定义最优间隔分类器： 这里是选的 最优化的目标是几何间隔，并且满足||w|| = 1，且该几何间隔是所有
generalized linear models
最新发布
07-12
广义线性模型（Generalized Linear Models, GLMs）是一种统计学方法，它将线性模型的概念扩展到了非正态响应变量的情况。GLMs的核心思想是假设因变量Y依赖于一个线性预测值，但这个预测值不是通过直接的线性关系得出，而是通过一个称为link function的函数转换后的。这种模型通常包含以下几个组成部分： 1. **线性部分**：由自变量的线性组合组成，即Y = Xβ + ε，其中X是设计矩阵，β是回归系数，ε是随机误差。 2. **链接函数**：如对数、指数、反比例等，用于将线性部分的预测结果映射到特定类型的分布上，使得我们可以处理诸如二元分类、计数数据或连续数据，而不仅仅是正态分布的数据。 3. **概率分布**：GLM假设误差项ε服从某个概率分布，如伯努利分布（对应逻辑回归）、泊松分布（用于事件计数）、伽马分布等。 GLMs的优势在于它们提供了一种统一的框架，可以适应各种不同类型的数据，并且通过最大似然估计法来估计模型参数，使得模型易于理解和实施。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值