自己看的，西瓜书第三章

最新推荐文章于 2023-11-02 16:14:27 发布
最新推荐文章于 2023-11-02 16:14:27 发布
阅读量291 收藏
点赞数
分类专栏： 笔记 文章标签： 回归 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52308381/article/details/122047412
版权

在这里插入图片描述

3.1线性回归的基本形式

给定d个属性描述，可以通过属性线性组合来进行预测的函数

即
在这里插入图片描述

3.2线性回归

3.2.1一元线性回归

准则：均方差最小
算法：最小二乘法
垂直距离最短为线性回归，竖直距离最短为正交回归。
ps：垂直距离最短为线性回归，竖直距离最短为正交回归。
在这里插入图片描述
假设x和y满足线性函数关系，使用x的值来预测y
在这里插入图片描述
为了求出w和b，我们考虑衡量f(x)与y之间差别，使用均方误差来衡量，即让均方误差最小，为我们的优化准则。均方差对应于欧几里得距离简称“欧氏距离”。
在这里插入图片描述
其中，argmin(Y)指使Y达到最小时的w和b。
在这里插入图片描述
ps:书上对于凸函数的定义与国内定义不同。

3.2.2多元线性回归
准则：均方差最小
算法：梯度下降法，最小二乘法
在这里插入图片描述

3.3一般广义线性模型

请添加图片描述
这有知乎大佬的详细描述

3.4对数几率回归

准则：极大似然估计
算法：梯度下降，牛顿法
对于二分类任务的考虑，最理想的是“单位阶跃函数”。但由于单位阶跃函数的不连续性，我们选则用对数几率函数来替代。
在这里插入图片描述
在这里插入图片描述
单位阶跃函数与对数几率函数
ps:读数几率函数是一种“Sigmoid函数”
在这里插入图片描述

3.5线性判别分析（LDA）

准则：类内协方差矩阵最小。类间向量均值最大
算法：拉格朗日乘子法
在这里插入图片描述

3.6多分类学习

（继续学习…）

家养傻笑黄袍怪
关注
专栏目录
西瓜书第三章练习题对率回归数据集
04-28
这是西瓜书第三章练习题对率回归数的据集
【学习笔记、面试准备】机器学习西瓜书要点归纳和课后习题参考答案——第3章
出尘的博客
04-03 2520
具体做法除了以上的“阈值移动（threshold-moving）”，还有反例“欠采样（undersampling）”（这常常结合集成模型防止丢失主要信息），正例“过采样（oversampling）”（这常常使用插值等方法数据增强缓解过拟合）。输入预处理：连续值可以直接用，离散值若有序，可以按序赋值变连续（如“高，中，低”变为“1，0.5，0”，否则可以单热点码编码。d维变成N-1维的向量，也可以作为降维的方法，可以把维度改为任意的d’而不必是N-1，但是。
西瓜书《机器学习》课后答案——Chapter3
CodeTutor
05-14 7326
3.2 试证明，对于参数ωω\boldsymbol \omega，，对率回归的目标函数(3.18)是非凸的，但其对数似然函数(3.27)是凸的。 解答： 定理：设f(x)f(x)f(\boldsymbol x)是定义在非空开集D⊂RnD⊂RnD\subset \mathbb R^n上的二次可微函数，则f(x)f(x)f(\boldsymbol x)是凸函数的充要条件是在任意点x∈Dx∈D...
西瓜书第三章——习题解答
qq_63908157的博客
11-02 872
在一次函数中b是函数在y轴的截距，控制着函数偏离原点的距离；类比到线性模型中，偏置项b体现了模型整体上的浮动，可以根据具体情况对偏差进行修正，使模型更好地拟合真实值。题3.2 试证明：对于参数w，对率回归的目标函数(3.18)是非凸的，但其对数似然函数(3.27)是凸的。答：首先需要明确：二阶导>0，开口向上，是凹的；二阶导<0，开口向下，是凸的。题3.1 试析在什么情况下f(x)=w^(T)+b中不必考虑偏置项b？题3.3 编程实现对率回归，并给西瓜数据集3.0a上的结果。
【机器学习】西瓜书学习心得及课后习题参考答案—第3章线性模型
一个甜甜的大橙子的博客
07-27 3496
线性模型形式简单，易于建模。
【吃瓜教程】周志华机器学习西瓜书第三章答案
MaxQuYY的博客
09-19 7634
线性模型结构梳理 3.1 试析在什么情形下式3.2中不必考虑偏置项b 答案一： 偏置项b在数值上代表了自变量取0时，因变量的取值； 1.当讨论变量x对结果y的影响，不用考虑b； 2.可以用变量归一化（max-min或z-score）来消除偏置。 答案二： 线性规划的两个实例相减可以消去b，所以 可以令训练集的每一个样本减去第一个样本，然后对新的样本进行线性回归，此时就可不必考虑偏置项。（有点儿类似变量归一化的意思）。 3.2试证明，对于参数w，对率回归的目标函数是非凸的，但其对数似然..
西瓜书第三章，线性判别分析笔记
01-26
本文是西瓜书第三章的笔记，讨论了线性判别分析（LDA）的算法原理和实现细节。线性判别分析是一种常用的机器学习算法，用于高维数据的降维和分类。 线性判别分析算法原理 线性判别分析的主要思想是将高维数据投影...
西瓜书电子版 西瓜书课后习题答案 中科大专属答案 西瓜书公式推导 西瓜书 PPT
01-14
2. **西瓜书课后习题答案**：这些习题答案是学习过程中的重要参考资料，可以帮助读者检验自己对书本内容的理解程度，解答过程中可能包含了解题思路、步骤以及关键知识点的应用，对于自我学习和复习至关重要。...
机器学习西瓜书笔记第五章神经网络及代码.rar
最新发布
08-17
本章主要是关于神经网络算法的详细介绍，包括以下几个核心内容： 1. 神经网络基础 - 定义：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，能够模拟生物神经系统对真实世界物体的交互反应。 - 神经元...
西瓜书课后习题.docx
10-17
第三章： 6. 针对编码技术的问题，ECOC（Error-Correcting Output Codes）是一种多类分类的编码方法，其中码长指的是编码序列的位数，类别数则表示要区分的不同类别。海明距离衡量的是两个码字之间的差异，理论上，...
西瓜书第三章习题及答案
qq_43761012的博客
06-24 4910
西瓜书第三章课后习题
西瓜书——第三章课后习题
热门推荐
surymy
06-21 1万+
题3.1 试析在什么情况下f(x)=w^(T)+b中不必考虑偏置项b 首先要知道为什么要加偏置项？它的作用是什么？在之前学过的一次函数中，b其实就是函数在y轴的截距，控制着函数偏离原点的距离，那么在线性模型中应该也是类似作用。看了这个博主的文章，大概意思就是加偏置项是为了更好的拟合数据。 其实我自己看到这个题第一反应是，如果让 fi-fj，这样就可以消掉b了，自然也就不用考虑它。也就是让所有数据集都和任意一个数据集相减，最后得到一个新的数据模型f(x)’=w^(T)。 但是又感觉不是这样的吧，莫名心虚，
西瓜书第三章--线性回归
weixin_55858423的博客
07-14 783
3.1 基本形式 线性模型的基本形式如下： 其中w为（w1,w2,w3,.....wd);注意，w/b/y/xi等均为列向量！ 优点：线性模型形式简单，并且可以通过引入层状结构或是高维映射来得到非线性模型；此外，w相当于各个x的权重，使得模型具有很好的可解释性。 3.2 线性回归 线性回归的形式和基本形式一样，如下所示： 在实际问题中，w和b的选择采用“最小二乘法”来确定，其中最小二乘法是指基于均方误差最小化来进行模型求解的方法。在线性回归中，最小二乘法...
《机器学习》西瓜书习题 第 3 章
云玩家
01-26 2286
习题 3.1 试析在什么情况下式 (3.2)(3.2)(3.2) 中不必考虑偏置项 bbb . 　　书中有提到, 可以把 xxx 和 bbb 吸收入向量形式 w^=(w;b)\hat{w} = (w;b)w^=(w;b) .此时就不用单独考虑 bbb 了. 　　其实还有很多情况不用, 比如说使用了 one−hot\mathrm{one-hot}one−hot 编码, 就可以不用考虑偏置项. 　　更...
【课程作业】西瓜书 机器学习课后习题 ： 第三章
海到无边天作岸 山登绝顶我为峰
09-02 2555
作业要求：每章从课后习题中选取3道题做就可以了答案来源：题目的解答过程来自于网络，依据个人所学进行了一些修改、总结仅供参考试析在什么情形下式(3. 2)中不必考虑偏置项b。试证明，对于参数w，对率回归的目标函数(3.18)是非凸的，但其对数似然函数(3.27)是凸的ECOC编码能起到理想纠错作用的重要条件是：在每一位编码上出错的概率相当且独立。试析多分类任务经ECOC编码后产生的二类分类器满足该条件的可能性及由此产生的影响。文章仅作为个人学习笔记记录，记录从0到1的一个过程希望对您有一点点帮助，如有错误欢迎
[西瓜书]——第三章部分编程答案
m0_48638643的博客
05-11 1206
第三章线性模型实验课 本次实验课内容对应教材的课后习题P69,3.3,3.5题。 3.3🚀 import numpy as np # 西瓜数据集 X = np.mat([[0.697, 0.460, 1], [0.774, 0.376, 1], [0.634, 0.264, 1], [0.608, 0.318, 1], [0.556, 0.215, 1], [0.403, 0.237, 1], [0.481, 0.149, 1], [0.437, 0.211, 1].
西瓜书第三章、第五章课后答案—3.3、3.5、5.5
灿灿的博客
03-28 5779
1、3.3编程实现对率回归 1、数据集 西瓜书89页数据集3.0a # -*- coding: utf-8 -*- import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn import model_selection from sklearn.linear_model import Lo...
西瓜书学习课后题 —— 第3章 线性模型
创可不能贴的博客
05-16 2732
第3章习题： 1. 试分析在什么情形下（式3.2）种不必考虑偏置项b 当加权求和值不为0时，不必考虑偏执项b 2. 试证明，对于参数www，对率回归（logistics回归）的目标函数（式3.18）是非凸的，但其对数似然函数（式3.27）是凸的。 3. 编程实现对率回归，并给出西瓜数据集3.0α上的结果。 参考 https://blog.csdn.net/icefire_tyh/articl...
西瓜书第3章习题3.3——对数几率回归
weixin_45199303的博客
10-24 2320
目录 前言： 对数几率回归： 编程： 加载西瓜数据集： 前言： 使用线性模型进行分类任务，找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。 对数几率回归： 对数几率函数(logistic function):对数几率函数是sigmoid函数的一种 把线性模型代入对数几率函数得到下式： 转换得 通过极大似然估计法来估计参数w,b。损失函数如3.27所示。其中=（w,...
西瓜书第三章课后习题
01-03
很抱歉，我无法回答关于西瓜书第三章课后习题的问题，因为我无法提供或引用特定书籍的内容。但是，我可以为您提供一些关于偏置项的一般知识。 偏置项（也称为截距项）在线性模型中起着重要的作用。它是一个常数，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值