机器学习_周志华 第三章 线性模型 学习笔记 3.3 3.4-3.6（略）

最新推荐文章于 2022-08-22 23:45:25 发布
最新推荐文章于 2022-08-22 23:45:25 发布
阅读量1.1k 收藏
点赞数
分类专栏： 机器学习_周志华 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jugexiaolizi/article/details/83583456
版权

文章仅用来记录学习，若有侵权行为，联系我，将删除

3.3 对数几率回归

对数几率回归是线性模型在进行分类任务时的一种运用。

当我们要用线性模型去进行分类任务时，我们可以根据 3.2 中所提到的广义线性模型，找到一个单调可微函数 \small g\left ( \cdot \right ) ,将分类任务的真实标记 \small y 与线性回归模型的预测值联系起来。

对于二分类的任务，输出标记 \small y\in \left \{ 0,1 \right \} ，但我们由线性回归模型所产生的预测值 

最低0.47元/天 解锁文章
搬砖没人要
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
周志华——机器学习 第三章笔记
m0_62833130的博客
01-16 699
机器学习的线性模型、对数几率回归、线性判别分析LDA、多分类学习。
机器学习 -- 《机器学习》(周志华) 第三章
Zhou_Yulong的博客
08-24 1131
机器学习 – 《机器学习》(周志华) 第三章 笔记 正交回归 点距离线的距离是正交回归 线性回归 点垂直方向到线的距离 将离散特征转为线性公式 极大似然估计 用途：估计概率分布的参数值 方法： 写出随机变量X的概率密度函数 写出似然函数 求出使得L(μ，σ^2) 取到最大值的μ，σ 概率密度函数 最小二乘法 基于方误差最小化来进行求解的方法 凸集1 凸函数时需要，最优化领域凹凸性与高数中不同 梯度 梯度为 多元 函数的一阶导数 线性判别分析 给定训练集，将样例
周志华机器学习第三章理解
小x的博客
06-04 784
下面即将是一个大坑~~~：嗯，这里貌似不好推导出来啊，然后无奈之下，上网找到了这个~： 
《机器学习》-周志华 第三章：线性模型 读书笔记二
虎哥的铲屎员
07-01 264
文章目录3.4线性判别分析LDA(linear discriminant analysis)3.4.1 二分类推导3.4.2 多分类推导3.5 多分类学习3.6类别不平衡问题 3.4线性判别分析LDA(linear discriminant analysis) 给定训练样例集，将样例投影到一条直线上，是同类样例的投影点尽可能近，非同类样例投影点尽可能远。在新样本分类时，投影到同样的直线上，再根据投...
机器学习 周志华 第三章 推导详细过程
weixin_37076955的博客
03-21 1059
第三章主要介绍了线性模型的推导过程，但是作者略去部分简单的步骤，虽然作者认为是简单的，但是对我这种数学渣渣来说，并不简单，因此我还是差了 matriccookbook中的矩阵运算的公式，自己推导了一遍。 首先推导 公式（3.10）到公式（） 令导数=0，则可以求出 参考公式如上图，取自 wiki百科上计算公式。 未完待续。 ...
机器学习(周志华)课后题 第三章 线性模型 3.3
weixin_38648770的博客
07-17 1183
文章目录3.3：编程实现对率回归(Logistic Regression)西瓜数据集3.0α自定义Logistic函数利用梯度下降法计算回归系数定义预测函数构建模型实现对率回归 3.3：编程实现对率回归(Logistic Regression) 西瓜数据集3.0α data = np.array([[0.697, 0.460, 1], [0.774, 0.376, 1], ...
读书笔记 机器学习（周志华）第三章 线性模型
Atom爱疼的博客
03-02 362
读书笔记 机器学习（周志华）第三章 线性模型3.1 基本形式3.2 线性回归3.3 对数几率回归 3.1 基本形式 线性模型（linear model）试图通过属性的线性组合来进行预测，即 f(x)=w1x1+w2x2+...+wdxd+bf(x)=w_1x_1+w_2x_2+...+w_dx_d+bf(x)=w1​x1​+w2​x2​+...+wd​xd​+b， 一般用向量形式写成 f(x)=w...
《机器学习》周志华读书笔记（三）线性模型（下）
南梦倾寒的博客
06-07 344
本篇文章紧接《《机器学习》周志华读书笔记（三）线性模型（上）》，内容为3.4线性判别分析开始讲起 3.4线性判别分析 线性判别分析（Linear Discriminant Analysis ，LDA）：一种经典的线性学习法(经典的监督降维技术)，其思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，不同样例的投影点尽量远离。 上图所示为LDA二维示意...
机器学习_周志华_问题汇总_第2周
Datawhale
08-26 3312
问题 Q1 如果我想分析一下文本分类错误的原因，应该从哪些方面入手？ 可以去分析一下哪个类别错误率高，然后看看这个类别的是否不平衡，针对这个类别看看能不能进行改进。 还有就是数据量过少，或是数据质量较差(比如人为标注的样本可能类别是不正确的)，都会影响到模型的学习。 因为分类错误这个受特征和模型的参数影响也很大，这可以从这两个方面考虑一下。 Q2 为什么Bagging难以提升朴素贝叶斯分...
机器学习部分课后习题答案.
01-20
机器学习部分课后习题答案
周志华《机器学习》笔记（三）——第3章 线性模型
CSU干饭人的博客
07-15 230
第3章 线性模型1、线性回归2、逻辑回归（对数几率回归）3、线性判别分析（LDA）4、多分类学习5、类别不平衡 线性模型是神经网络和深度学习的基础，原理比较简单，主要看书就行，重点是线性回归和对数几率回归这两节。 1、线性回归 求解方法：用最小二乘法使均方误差最小化，可以求出最优解。 2、逻辑回归（对数几率回归） 线性模型外面套上一层Sigmoid函数，就可以解决二分类问题。求解方法与线性回归一样，用最小二乘法最小化均方误差。 3、线性判别分析（LDA） 将数据的特征点（坐标）投影到一条直线上，使同类样
【机器学习-周志华】学习笔记-第三章
vircorns的博客
08-22 642
周志华《机器学习》第三章啃书笔记
周志华《机器学习》第三章 - 线性模型
lens_的博客
05-16 710
第三章 - 线性模型1.1 基本形式1.2 线性回归 1.1 基本形式 给定由 d 个属性描述的示例 x = (X1; X2;…; Xd) ， 其中xi是 x在第 i个属性上的取值，线性模型 (linear model)试图学得一个通过属性的线性组合来进行预测的函数，即 一般用向量形式写成 其中 ω=(ω1 ;ω2;… ;ωd) ω 和 b 学得之后，模型就得以确定. 线性模型形式简单、易于建...
机器学习周志华第三章笔记
ha_ha515的博客
01-16 298
线性回归回顾 linear Algebra 线性代数 matrix 矩阵 vector 向量 只有一列的矩阵
2019/9/12，机器学习（周志华）第三章及学习笔记
qq_31688497的博客
09-12 210
本章的内容是线性模型，先从简单的线性回归到应用于二分类的对数回归。 f(xi)=wxi+b, 为了确定线性模型中的w和b，用上一章提到的均方误差mse来求解，试图将mse最小化来得到线性模型中较好的w和b（理论上是最好的），这种方法称为最小二乘法。 最小二乘法在其他领域也有用途，例如在我之前的视差图精化的亚像素插值中也用到了最小二乘法拟合。而此处线性回归中的最小二乘法是指找到一条直线，使所有样本到...
<机器学习>(周志华)读书笔记 -- 第三章 线性模型
ANONYMOUSLYCN的专栏
02-19 1424
3.1 基本形式 为啥叫做线性模型呢？因为这个很像是f（x）=ax+b的形式，在图形上看是一个直线，只是斜率和截距不一样而已。 3.2 线性回归 这个就有意思了，这里x是给的数值，f(x)是预测值，w，b是变量，那么变量的更新就是个大问题，其实神经网络在这里也是面临了这个问题，就是变量的更新。 这里先是放置了一个w，b的更新的大致方向，就是使得预测和真实值接近嘛。然后化简一
《机器学习》周志华 习题答案3.3
weixin_30591551的博客
06-25 393
3.3 编程实现对率回归，并给出西瓜数据集3.0α上的结果。 本题我就调用了sklearn的逻辑回归库来测试。 #!/usr/bin/python # -*- coding:utf-8 -*- from sklearn import linear_model,datasets import numpy as np from matplotlib import pyplot as ...
周志华《机器学习》课后习题解答系列（四）：Ch3.3 - 编程实现对率回归
热门推荐
Snoopy_Yuan技术部落格
03-19 2万+
这里采用Python-sklearn的方式，环境搭建可参考 数据挖掘入门：Python开发环境搭建（eclipse-pydev模式）. 相关答案和源代码托管在我的Github上：PY131/Machine-Learning_ZhouZhihua. 思路概要 编程实现对率回归： * 采用sklearn逻辑斯蒂回归库函数实现，通过查看混淆矩阵，绘制决策区域来查看模型分类效果； * 自...
《机器学习》 周志华学习笔记第十四章 概率图模型（课后习题）python实现
最新发布
05-17
本次我们将学习如何用 Python 实现《机器学习》周志华教授第十四章中的概率图模型习题。在这里，我们将使用 Python 的 pgmpy 库来构建和分析概率图模型。 首先，我们需要安装 pgmpy。可以使用 pip 安装： ```...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值