【Abee】吃掉西瓜——西瓜书学习笔记（二）

最新推荐文章于 2020-01-18 18:12:45 发布
最新推荐文章于 2020-01-18 18:12:45 发布
阅读量181 收藏
点赞数
分类专栏： 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40006612/article/details/89216013
版权

线性模型(linear model)

 

目录

【内容包含 第三章】

线性回归（linear regression）

多元线性回归（multivariate linear regression）

对数几率函数（logistic function）

线性判别分析（Linear Discriminant Analysis，LDA）

多分类学习

类别不平衡（clss-imbalance）

 

线性回归（linear regression）

向量形式

                    f(x)=w^{T}x+b   

实际上我们遇到的数据分类并不都是数值类型的，对有序离散数据可以转化为数值比如身高 高、中、矮（1.0），（0.5），（0），对于属性间无序的数据，可以转化为k维向量，如西瓜，黄瓜（1,0）（0,1）

均方差：常用性能度量

最小二乘法：使用均方差对线性模型进行求解

                    (w^{*},b^{*})=arg min\sum_{i=1}^{m}(f(x_{i})-y_{i})

多元线性回归（multivariate linear regression）

最小二乘法

                     \hat{w}^{*}=arg min(y-X\hat{w})^{T}(y-X\hat{w})

线性回归模型 (X^{T}X为满秩矩阵时）

                     f(\hat{x})=\hat{x}^{T}(X^{T}X)^{-1}X^{T}y

还有对数线性回归，广义线性模型等衍生

                     y=g^{-1}(w^{T}x+b)

其中g（）为联系函数（link function），要求连续且充分光滑

 

对数几率函数（logistic function）

这个引入是考虑二分类模型预测值为0,1，然而阶跃函数并不连续，因此用对数几率函数替代它

                     y=\frac{1}{1+e^{-z}}

对数几率函数是一个Sigmoid函数，对应的线性回归模型为

                     ln\frac{y}{1-y}=w^{T}x+b

可以进一步通过极大似然法估计w和b

 

线性判别分析（Linear Discriminant Analysis，LDA）

也称为Fisher判别

主要思想：将样例投影到一条直线上，使类内投影尽可能接近，类间投影尽可能远离

即最大化目标J

                       J=\frac{w^{T}(\mu _{0}-\mu _{1})(\mu _{0}-\mu _{1})w}{w^{T}(\sum _{0}+\sum _{1})w}

类内散度矩阵

                      S_{w}=\sum {_{0}}^{}+\sum {_{1}}^{}

类间散度矩阵

                       S_{b}=(\mu _{0}-\mu _{1})(\mu _{0}-\mu _{1})^{T}

 

多分类学习

可以将多分类任务拆解成多个二分类任务，再进行集成

假设存在N个类别

        一对一（OvO）:N(N-1)/2次两两配对，然后投票决定

        一对其余（OvR）:N个分类器

        多对多（MvM）: 举例，ECOC 纠错输出码

 

类别不平衡（clss-imbalance）

通过再缩放（rescaling）（要求训练集为样本总体的无偏采样）

                \frac{y'}{1-y'}=\frac{y}{1-y}\times \frac{m^{-}}{m^{+}}

也可以用\frac{cost^{-}}{cost^{+}}替换\frac{m^{-}}{m^{+}}来进行代价敏感学习（cost-sensitive learning）

 

 

 

 

AnyaBee
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
20_21_ABEE3018_FM2_L2_class.pdf
07-28
20_21_ABEE3018_FM2_L2_class.pdf
trim.0ABEE065-DDB9-4721-8D68-59E7F1FE58A1-20240301233234.wav
最新发布
03-01
trim.0ABEE065-DDB9-4721-8D68-59E7F1FE58A1-20240301233234.wav
【笔记】迈向人工智能 | Coursera-斯坦福大学-机器学习-吴恩达（已完结）
weixin_30881367的博客
10-14 402
课程首页：Coursera-Stanford-Machine Learning 授课教授：吴恩达（Andrew Ng） ------Week 1------2018.10.10------ Introduction Linear Regression with One Variable Linear Algebra Review 1. What is Machi...
logistic回归详解(二）：损失函数（cost function）详解
热门推荐
bitcarmanlee的博客
04-15 15万+
有监督学习机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。 既然是有监督学习，训练集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)}\{(x^1,y^1),(x^2,y^2),\cdots,(x^m,y^m)\}对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0x_0, 则每个样本包含n+1维特征
【Abee】吃掉西瓜——西瓜书学习笔记（七）
AbeeCode
04-26 119
集成学习（ensemble learning） 【内容包含 第八章】 个体与集成 集成学习一般是多个个体学习器以某种策略结合起来，其中的个体学习器可以是同质（homogeneous）的，成为“基学习算法”，也可以是异质（heterogenous）的，个体学习器成为组件学习器（component learner）。 目前的集成学习主要分两类： 1.串行进行的序列化...
【Abee】吃掉西瓜——西瓜书学习笔记（六）
AbeeCode
04-26 318
贝叶斯分类器 目录 【内容包含 第七章】 贝叶斯决策论（Bayes decision theory） 极大似然估计（Maximum Likelihood Estimation，MLE） 朴素贝叶斯分类器（naive Bayes classifier） 半朴素贝叶斯分类器 贝叶斯网 道德图（moral graph） 贝叶斯网学习 贝叶斯网推断 EM算法（Expectati...
ABEE3030_21_22_CFD_cwk_1.pdf
10-23
【ABEE3030_21_22_CFD_cwk_1】这份课程作业主要涉及了计算流体动力学（Computational Fluid Dynamics, CFD）在建筑环境中的应用，是一份占总成绩35%的考核。下面将对其中的问题进行详细解答。 **问题1：判断题** ...
四川省射洪中学校2020—2021学年高二上学期期中考试数学理试题 含答案.docx
09-13
- 第四题讨论条件关系，"lglgab是"abee 的充分不必要条件，答案是A.充分不必要条件。 - 第五题涉及椭圆的性质，题目中椭圆的周长是20，答案是B.20。 - 第六题是不等式求最值，3x > 时，43xx+-的最小值是4，答案是...
四川省遂宁中学高2015级高中数学10月月考试题理
08-05
4. **对数不等式**：“abee”是“22loglogab”的必要不充分条件，这涉及到对数函数的性质和逻辑关系。 5. **三角函数**：函数( )sin()f xxx x 是一个奇函数且为增函数，需要分析三角函数的奇偶性和单调性。...
【Python/图像处理】绘制二值图轮廓的N种方法
AbeeCode
01-18 1347
2D图像绘制轮廓 1.cv2.findcontours() 2.skimage.measure.find_contours() 3.cv2.Canny() 3D图像绘制表面 1. 拆分成若干张2D图像, 使用2D方法 2. skimage.measure.marching_cubes_classic ...
【Python/Matlab】数据运算差异二三事
AbeeCode
12-03 863
1.reshape matlab用的是 fortran order.(按列走,以最后一维为第一个循环,三维的话实际是 2,3,1)fortran order,fuc u python用的是c order(按行走, 以第一维为第一个循环 1,2,3) 解决办法 参数 order='F' (ps,相同的问题也会出在flatten里) 2.std matlab默认算样本偏差(/n-1...
【Ubuntu】【Python】shell cp和shutil.copy 用时小测试
AbeeCode
09-12 625
新接手的代码有很多是用python来调用shell代码，看起来易读性比较差，还需要考虑参数、命令所在的环境位置等因素，考虑用python的模块来取代一部分shell命令，用最简单的copy测试了一下 任务：复制同一个文件test.sh到本目录下的文件test2.sh import sh import time import shutil tic0 = time.time() shargs ...
【Python】当你需要计算1,000,000+次一维向量的相关系数, 怎么算最快?
AbeeCode
11-25 603
背景 最近需要用python计算大量的一维向量之间的相关系数, 其中: 测试数据: (1000, 100) one of them (100,) 模板数据: (1000, 100) one of them (100,) 那么就需要计算1,000,000次相关系数,那么在这种情况下, 计算效率就变得很重要了. 直接看提速好几百倍的升级版->...
【Python】当你需要计算1,000,000+次一维向量的相关系数, 怎么算最快(2)?
AbeeCode
12-05 500
目录 前景提要 1.np.corrcoef的批量运算 3.魔法操作 3.结论 前景提要 可以看一下前一篇【Python】当你需要计算1,000,000+次一维向量的相关系数, 怎么算最快? 测试数据: (1000, 100) one of them (100,) 模板数据: (1000, 100) one of them (100,...
【Abee】吃掉西瓜——西瓜书学习笔记（一）
AbeeCode
04-11 380
绪论、模型评估与选择 目录 【内容包含 第一章、第二章】 没有免费的午餐（No Free Lunch Theorem） 过拟合（overfitting）与欠拟合（underfitting） 几种模型验证方法 模型评估的常见参数 模型性能检验 没有免费的午餐（No Free Lunch Theorem） 所有学习算法的期望性能相同（只是处理不同的问题时，学习算法A优...
【Abee】吃掉西瓜——西瓜书学习笔记（四）
AbeeCode
04-16 203
神经网络（neural networks） 目录 【内容包含 第五章】 神经元模型 感知器与多层网络 多层前馈神经网络（multi-layer feedforward neural networks） 反向传播算法（error BackPropagation，BP） BP算法解决过拟合的问题 全局最小（global minimum）与局部极小（local minimum） ...
【Abee】吃掉西瓜——西瓜书学习笔记（三）
AbeeCode
04-15 201
决策树（decision tree） 目录 【内容包含 第四章】 基本流程 信息增益（information gain） 剪枝处理（pruning） 连续值处理 缺失值处理 多变量决策树 基本流程 决策树（decision tree）基于树状结构进行判定，基本流程遵循“分而治之”（divide-and-conquer）策略。 决策树基本流程 作图好累（doge A\{a*}...
【Python】字典理解
AbeeCode
10-14 178
目录 初始化一个空字典 给字典增加一对 键-值（key-value） 使用键来调用值 改变字典里的值 字典是对象引用 字典对键和值的迭代 参考 初始化一个空字典 obj = {} print(obj) output: {} 给字典增加一对 键-值（key-value） 字典的键和值之间存在一一映射关系，且 键-值对 在字典中的放置是...
将{"timestamp":1685523498,"sdkVersion":"1.0.30_1","vin":"LJUBMSA24PKFFF198","sign":"969ba7272b914106179fffaa502abee81fe4661392c8f3fe083eb916bdb44955"}直接赋值为字符串
06-01
char json_str[] = "{\"timestamp\":1685523498,\"sdkVersion\":\"1.0.30_1\",\"vin\":\"LJUBMSA24PKFFF198\",\"sign\":\"969ba7272b914106179fffaa502abee81fe4661392c8f3fe083eb916bdb44955\"}"; // 打印 JSON ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值