【西瓜书南瓜书第三章线性模型】

已于 2022-08-24 22:07:34 修改
阅读量610 收藏 1
点赞数
分类专栏： 西瓜书笔记 文章标签： 算法 人工智能 机器学习
于 2022-08-22 02:51:41 首次发布
原文链接：https://github.com/datawhalechina/pumpkin-book
版权

目录

一元线性预测误差

有序的多值离散特征、无序的多值离散特征

最小二乘估计与极大似然估计的殊途同归

    最小二成估计

      极大似然估计

极大似然估计

向量化求解ω，便于使用python的NumPy库

 默认分母布局

广义线性模型

 最大熵、交叉熵、极大似然估计

 深度学习基础----贝叶斯概率＋极大似然＋损失函数＋熵＋梯度＋反向传播：更新参数过程连贯地理解

整体目的：

贝叶斯概率：

极大似然　与　极小负对数似然：

对数几率回归

极大似然估计与信息论交叉熵的殊途同归

相对熵（KL散度）= 信息熵 + 交叉熵

贝叶斯学派认为理想分布不是固定的

频率学派认为理想分布是固定的

 二分类线性判别分析

广义特征值

 多分类问题 结合广义瑞丽商

类别不平衡问题 

一元线性预测误差

线性回归：预测误差平行于y轴：实际值y-预测值y‘（y'在预测直线上） 

均方误差：所有线性回归的预测误差之和，为均方误差

最小二乘法损失函数：每个实际值于预测值的均方误差的平方和

正交回归：预测误差，法向垂直的红线

argmin使得式子取得最小值的变量的取值

 

有序的多值离散特征、无序的多值离散特征

最小二乘估计与极大似然估计的殊途同归

当要拟合的随机变量的样本之间独立，且噪声服从正态分布时，最小二乘假设和极大似然假设是等价的。

    最小二成估计

     极大似然估计

使得观测样本出现概率最大的分布就是待求分布；

也即使得联合概率（似然函数）L(θ)取到最大值的θ*，θ*为θ的估计值

θ：当为高斯分布，有两个待估计的参数值：是μ、σ；当为伯努利分布，有一个待估

极大似然估计

 y为正态分布中的x，（wx+b）为μ

 

这里的凸函数与高数里是反的

 

 向量化求解ω，便于使用python的NumPy库

 

 默认分母布局

广义线性模型

 最大熵、交叉熵、极大似然估计

联合熵：

最大熵原理 

最大熵原理是一种选择随机变量统计特性最符合客观情况的准则，也称为最大信息原理。随机变量的分布是很难预测的，一般只能测得其各种统计量（如数学期望，方差）或者已知某些限定条件的值（如峰值、取值个数等），符合测得这些值得分布可以有多种，通常其中有一种分布的熵最大。选用这种具有最大熵的分布作为该随机变量的分布，是一种有效的处理方法和准则。这种方法虽然有一定的主观性，但是可以认为是最符合客观情况的一种选择。在投资时候常常讲不要把所有的鸡蛋放在一个篮子里，这样可以降低风险。在信息处理中，这个原理同样适用。数学上称之为最大熵原理。

那么，什么是熵呢？简单来说，熵就是对平均不确定性的度量：

由以上公式可知，熵是随机变量不确定性的度量，不确定性越大，熵就越大；当随机变量变成一个确定值的时候，熵就变成了0.需要指出的是均匀分布是最不确定的分布。

最大熵的一般模型：

其中P={p|p是X上满足条件的概率分布}

 深度学习基础----贝叶斯概率＋极大似然＋损失函数＋熵＋梯度＋反向传播：更新参数过程连贯地理解

  1. 贝叶斯概率 －> 极大似然
  2. 极大似然 -> 损失函数
  3. 极大似然＋损失函数  -> 熵
  4. 损失函数－>梯度
  5. 梯度－> 反向传播
  6. 梯度＋反向传播　->  参数

整体目的：

  • 拟合函数
  • （分类问题：也可以理解为拟合函数本身，最后只不过是多个神经元输出，谁最大就分到哪一类）

贝叶斯概率：

  • 即，后验＝先验×似然函数
  • p(w): 参数的先验分布
  • p(D|w): 
    • 似然函数
    • 关于w的函数
    • 给定参数w的情况下，训练数据D的可能性
  • p(w|D):　
    • 后验分布

  • 极大似然　与　极小负对数似然：

    • 对于所有数据点x, 数据值与预测值之间的误差（损失函数）服从高斯分布
    • 即，

    对于独立同分布的数据点，概率密度的乘积为似然函数

  • 通过极大化似然函数，可以得到关于参数w的极大似然解
    • 理解：得到的概率最大，就是它
  • 极大化似然函数＝＝极小化负对数似然函数
  • 极小化负对数似然＝＝极小化损失函数
    • 回归问题：
    • ​​​​​忽略后两项＝＝> 最小化MSE损失
    • 分类问题：
    • ＝＝> 最小化交叉熵损失

     高斯分布＋熵＋损失函数＋交叉熵：
    接前：为什么损失函数的概率分布是高斯分布？　
    因为：给定均值和方差的约束下，交叉信息熵最大的分布是高斯分布
    概率和熵：p(x)很，则熵大
    一件p(x)很小的事情发生了，那么它中间的信息量多大啊。。。
    ​​​​​​​负对数似然的函数＝＝熵的公式（很巧，或者人家数学家就是这么定义）
    ​​​​​​​（即，　损失函数函数最小化的问题　和　熵　挂钩了）

转载：【机器学习】分别从极大似然和熵的角度来看交叉熵损失_Mr_health的博客-CSDN博客

————————————————
版权声明：本文为CSDN博主「WW935707936」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weiwei935707936/article/details/103310594
————————————————
版权声明：本文为CSDN博主「FSilverBullet」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/dongba335/article/details/84888727

对数几率回归

极大似然估计与信息论交叉熵的殊途同归

极大似然估计

 

 

相对熵（KL散度）= 信息熵 + 交叉熵

信息熵与交叉熵都带负号

假设两个分类a、b，则p(a)=p(b)=1/2时，信息熵最大，最不确定

贝叶斯学派认为理想分布不是固定的

频率学派认为理想分布是固定的

 b=2，单位为bit；b=e，单位为nat

 

 二分类线性判别分析

协方差计算时，前面要有1/m0，1/m1，m0、 m1分别为这么多分类里其中这个分类的样本个数

 

 ω的大小不关心，只关心 ω的方向，因为投影时μ1和μ2的长度不变，投影大小只和θ的大小有关

 

|μ0|*cos(θ0)、|μ1|*cos(θ1)为投影长度，再放大模长|ω|倍

之所以放大模长倍，是因为方便写成内积的形式

 

维度为1的列向量，自己对自己做内积

 maxJ广义瑞丽商

 

广义特征值Ax=λBx

此时约束条件h因为不关心 ω大小，因此也可忽略

广义特征值

 

 

 多分类问题 结合广义瑞丽商

一个多分类的线性判别分析拆为n个二分类线性判别分析

最大广义特征值，ω1

最小广义特征值，ωn

 

 

 

 

 

类别不平衡问题 

 

链接：

来自：西瓜书 南瓜书 datawhale

inf-inf
关注
专栏目录
机器学习-西瓜书、南瓜书第三章
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-18 621
线性模型 一、线性回归 回归任务最常用的性能度量是均方误差，因为均方误差有比较好的几何意义，对应了最常用的**“欧氏距离”，最小二乘法就是基于均方误差进行模型求解的。 求解均方误差最小化的过程称为参数估计 其实就是对w，b分别求导，令其等于0，找到最优的闭式解(解析解)。 线性回归的基本思想是采用对输入样例各个特征进行线性加权的方式得到预测的输出，并将预测的输出和真实值的均方误差最小化。1）如果输入样例只有一个特征，那这个过程就是用一条直线去拟合平面直角坐标系上的点； ...
机器学习-西瓜书、南瓜书第六章
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-27 307
支持向量机 一、间隔与支持向量 1、掌握公式 推导过程： 2、什么是支持向量； 解：距离超平面最近的训练样本点使上式的等号成立，它们被称为“支持向量” 3、如何寻找最优的超平面； 解：首先量化最优指标（这里即为“间隔”）；然后再求其最值（这里使最大化“间隔”），寻求约束条件；最后求解。 4、支持向量机的基本型： 二、对偶问题 1、对一中第4小问公式如何求解； 解：利用拉格朗日乘子法得到其对偶问题，利用SMO算法求解对偶问题； 三、核函数 1、核函数产生的背景； 解：之前我们讨论的训
广义最小残量法
思维缜密的博客
08-19 1044
目标：得到一组标准正交基v1​,⋯,vm​，使得Km​(A,r0​)=span{v1​,⋯,vm​}显然v1​=∥r0​∥r0​​假设已经得到Kj​(A,r0​)=span(v1​,⋯,vj​)现在要求vj+1​vj​∈Kj​(A,r0​)⇒Avj​∈AKj​(A,r0​)⊂Kj+1​(
12、特征值与特征向量
PY洋洋
02-01 2206
一、特征值和特征向量的定义 二、特征值和特征向量的相关函数 三、特征值和特征向量的计算
MATLAB——LMI工具箱学习笔记（二）
一饮丶一啄的博客
02-28 7828
LMI工具箱一般用于求解三类问题 1、可行解问题 寻找一个x∈RNx\in R^Nx∈RN，使得A(x)<B(x)A(x)<B(x)A(x)<B(x)成立。 该问题可转化为： 寻找一个最小的t，使得A(x)−B(x)≤tIA(x)-B(x)\le tIA(x)−B(x)≤tI成立，即：min  tmin~~tmin  ts.t.  A(x)−B(x)≤tIs.t.~~A(x)-B(x)\le tIs.t.  A
【矩阵论】广义特征值问题
SL_World的博客
06-05 1万+
前言：什么是广义特征值问题？ 【广义特征值问题】设A=(aij)∈Rn×nA=(a_{ij})\in \mathbb{R}^{n\times n}A=(aij​)∈Rn×n是nnn阶实对称矩阵，B=(bij)∈Rn×nB=(b_{ij})\in \mathbb{R}^{n\times n}B=(bij​)∈Rn×n是nnn阶实对称正定矩阵，使下式 Ax=λBx \mathbf{Ax=\lambda Bx} Ax=λBx 有非零解向量x∈Rnx\in \mathbb{R}^{n}x∈Rn，则称λ\lambd
《鲁棒控制——线性矩阵不等式处理方法》(俞立)第二、三、四章学习笔记
m0_45188205的博客
11-08 7056
第二章 ：非零向量,或者的最大特征值小于0. 是凸集。（设V是数域P上的线性空间，W是V的一个非空子集，如果对W中任意两个向量a,b以及任意0<=c<=1，都有ca+(1-c)bW，则W是凸集）。 schur补性质： ，其中是r*r维的非奇异矩阵，则称为在中的Schur补。 对给定的对称矩阵，其中是r*r维的非奇异矩阵，则有： 复线性矩阵不等式的处理 映射，建立了复数空间C和实矩阵空间之间的一个同构关系，因此，复数矩阵M=A+jB可以用实矩阵来表示。M=A+jB与...
Task02：详读西瓜书+南瓜书第3章 线性模型
weixin_45592399的博客
11-21 1009
一元线性回归 一元线性回归我们试图学得模型 均方误差 均方误差E斜体样式是回归任务最常用的的性能度量，我们需要做的就是试图让均方误差最小化 最小二乘法 那么基于均方误差最小化来进行模型求解的方法就是“最小二乘法”。 事实上，最小二乘法不仅限于线性回归，最小二乘法还可用于曲线拟合。 在这里我先只考虑线性回归 一元线性回归 因此，对于一元线性回归，我们的目的就很清楚了。 我们希望找到一个目标函数， 那么想要找到这个目标函数，我们就需要基于最小二乘法求解w和b 这里我们先不考虑怎么证明凸函数，先来求解 求解.
【DW组队学习—吃瓜教程】task2：概览西瓜书+南瓜书第3章
07-19
【DW组队学习—吃瓜教程】task2：概览西瓜书+南瓜书第3章是针对机器学习领域的深入学习任务，旨在通过分享和交流学习笔记来增进对相关知识的理解。这一章节的学习主要聚焦于两本重要的教材——《西瓜书》（即《统计...
【吃瓜教程】西瓜书+南瓜书 第六章 学习笔记
weixin_60404039的博客
12-27 959
吃瓜教材：西瓜书：周志华老师的《机器学习》南瓜书：《机器学习公式详解》第2版。
西瓜书学习第二章
Ensoleilef的博客
10-30 194
西瓜书学习的第二章总结和摘要
西瓜书第三章——线性模型
qq_42929168的博客
11-22 1615
西瓜书学习笔记——第三章前言一、一元线性回归0、一些基本概念1、算法原理2、线性回归的最小二乘估计和极大似然估计2.1、最小二乘法2.2、极大似然估计法3、求解ω和b3.1、凸函数3.2、海塞矩阵及其半正定性3.3、海塞矩阵的半正定性证明3.4、向量化成矩阵简化python编写4、机器学习三要素二、多元线性回归1、多元线性模型2、最小二乘法估计以及向量化3、求解ω ̂ 和矩阵求偏导的一些公式3.1、海塞矩阵的正定性3.2、矩阵求偏导简单了解及相关公式三、对数几率回归1、算法原理2、极大似然估计角度推导损失函
广义特征值
Mr_xue的专栏
12-11 6859
广义特征值 Ax = λBx 其中A，B均为n阶方阵。实际中往往 A 是Hermitian方阵，B是正定的Hermitian方阵，A*V = B*V*D是对应的广义特征值分解。 1) 一般的 V'AV = diag(不是由特征值组成的对角阵) ， V'BV = diag(不是单位阵)。采用 inv(B)*Ax = λx 2）xi 和 xj 关于B矩阵带权正交时有如下性质： V'A
关于广义特征值问题的求解[泛化特征值问题][扩展特征值问题]
LYS_SONG的专栏
09-22 6736
最近接触到LDA（线性判别分析）、LFDA（局部性性判别分析）、FLDA（Fisher线性判别分析）、MMDA（多模式判别分析）等关于特征提取的方法，其中都涉及到了同一个问题——Fisher Criterion（Fisher判别准则），该准则要求同时使得类内离散度最小和类间离散度最大，问题描述如图所示： 这样就引出了广义的特征值问题，对于该问题的求解，也就进一步转换为求解上面的非对称矩阵
矩阵分析：特征值界估计，Hermite特征值，广义特征值
燕双嘤
12-31 4825
1，特征值界的估计 设，满足，则。 【证明】设，则： 设，则的任一特征值满足： 【证明】假设满足，则： ， （1） （2） （3） 推论：（实对称）矩阵的特征值都是实数，反（实反对称） 矩阵的特征值为或纯虚数。 对任意的实数，恒有：。 设，则的任一特征值满足： 【例1】设，故计的特征值的界。 因为 所以 由于的任一特征值满足： 故 故 设的特征值为，则 且上...
线性代数(三十四) ： 广义特征向量
热门推荐
方橙
03-16 4万+
线性代数(三十四) ： 广义特征向量
拉普拉斯矩阵/映射/聚类
yujianmin1990的专栏
09-13 2万+
拉普拉斯矩阵是个非常巧妙的东西，它是描述图的一种矩阵，在降维，分类，聚类等机器学习的领域有很广泛的应用。
流形学习(Manifold Learning)以及推导
VIEO
01-11 2983
流形学习(Manifold Learning) 前言 流行学习简介 主要的代表方法 1) Isomap (等距映射) Isomap算法步骤： 2) LLE(Locally Linear Embedding) 局部线性嵌入 LLE基本思想： LLE算法步骤： Isomap 与LLE的比较： 3) LE (Laplacian Eigenmaps) 拉普拉斯特征映射 谱图理论： LE基本思想： LE算法步骤：
“西瓜书核心知识点”---第二章：模型评估与选择
多敲代码！
01-23 2336
1.错误率(error rate)： 分类错误的样本占样本总数的比例， 精度=1-错误率。 误差：学习器的实际预测输出与样本真是输出之间的差异。 训练误差or经验误差：学习器在训练集上的误差。 泛化误差：学习器在新样本上的误差。泛化误差越小越好。学的“太好了”（将训练样本本身的特点当成所有样本都会有的一般性质）就会导致泛化能力下降，即“过拟合”。“欠拟合”：对训练样本的一般性质尚未学好。 2.评估泛化误差：使用“测试集”来测试学习器对新样本的判别能力，得到“测试误差”即近似为“泛化误差”。 注意：测试集样
西瓜书，南瓜书，磨菇书和花书有什么区别
最新发布
06-12
西瓜书、南瓜书、蘑菇书和花书通常是在编程社区中对一些特定编程教材或学习资源的非正式称呼。这些名称并没有官方定义，它们更多的是根据书籍的主题、内容或者作者来创造的有趣昵称。这里我简要解释一下这些词汇可能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值