机器学习基础算法12-回归

最新推荐文章于 2022-10-25 13:39:48 发布
最新推荐文章于 2022-10-25 13:39:48 发布
阅读量128 收藏 1
点赞数
分类专栏： 机器学习-基础知识
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42749341/article/details/107948897
版权

目录

一、线性回归

最重要且常见的回归
假设：
机器学习当中往往伴随着假设
1.假设的内涵性：就是根据常理应该是正确的
2.假设的简化性：假设只是接近事实，往往需要做若干假设
3.假设的发散性：在某个简化的假设下推导得出的结论，不一定只有在假设成立时，结论才正确。

1.最小二乘法的本质

在这里插入图片描述
最小二乘法的推导
在这里插入图片描述
在这里插入图片描述

2.最小二乘法之正规方程-θ解析过程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
加入λ扰动
在这里插入图片描述
在这里插入图片描述

3. L1正则化与L2正则化原理简述

  • 线性回归正则化–>防止过拟合
    目标函数：
    在这里插入图片描述

  • L2正则化–>岭回归
    作用：使θ中的每个元素都很小，接近于0，故目标函数增加平方喝损失–>类似条件极值
    目标函数：
    在这里插入图片描述

  • L1正则化–>LASSO–>特征选择–>稀疏性
    目标函数增加绝对值喝损失
    目标函数：
    在这里插入图片描述

  • Elastic Net：
    L1，有特征选择能力，但是性能不好
    L2，没有特征选择能力，但是性能好
    两者性能的补充，目标函数：
    在这里插入图片描述

4.交叉验证

如：十折交叉验证
在这里插入图片描述
预设几种超参数组合，在训练集上得到模型。然后再验证数据上买魅族超参数都采用交叉验证来进行评估。最后选出最优参数组合简历模型。

广义逆矩阵与SVD

在这里插入图片描述
求伪逆后，直接乘y，就能得到θ
在这里插入图片描述

5.梯度下降算法

当特征较复杂时，正规方程求解过慢，此时，就需要梯度下降算法来求解
在这里插入图片描述
只能找到局部最小值

1）梯度方向

在这里插入图片描述

2）三种梯度下降算法

批量梯度下降法-BGD
在这里插入图片描述
贪心（greed）
在这里插入图片描述
随机梯度下降法SGD
在这里插入图片描述
折中：mini-batch SGD实际中用的最多，但是简称为SGD
在这里插入图片描述
在这里插入图片描述

R方

在这里插入图片描述

6.局部加权线性回归

在这里插入图片描述
在这里插入图片描述

二、Logistic回归-二分类

在这里插入图片描述

1.Logistic回归参数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.线性模型GLM

在这里插入图片描述

3.对数线性模型

在这里插入图片描述

4.Logistic回归的损失函数

在这里插入图片描述
在这里插入图片描述

三、多分类：Softmax回归

在这里插入图片描述

总结在这里插入图片描述

qq_42749341
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习：线性回归1----原理推导
condi1997的博客
04-09 362
目录第一部分：线性回归一.高斯分布二.最大似然估计MLE三.最小二乘法的本质 第一部分：线性回归 根据样本标签值y是否是连续性，将算法分为回归----标签值y连续；分类----标签值y离散。 一.高斯分布 二.最大似然估计MLE 三.最小二乘法的本质 ...
机器学习算法总结--线性回归和逻辑回归
热门推荐
AI 算法笔记
02-12 3万+
1. 线性回归简述在统计学中，线性回归（Linear Regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合（自变量都是一次方）。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。
机器学习基础算法12-回归实例-广告预测
柳杰的博客
08-02 987
文章目录1.广告预测-线性回归2.广告预测-岭回归 1.广告预测-线性回归 import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt import pandas as pd from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression if __name__ == "_
机器学习基础算法14-回归实例-广告预测
qq_42749341的博客
08-17 343
目录 1.广告预测-线性回归 import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt import pandas as pd from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression if __name__ == "__main__": path = 'A
机器学习-常用回归算法归纳(全网之最)
WGS.
10-28 2万+
文章目录前言一元线性回归多元线性回归局部加权线性回归多项式回归Lasso回归 & Ridge回归Lasso回归Ridge回归岭回归和lasso回归的区别L1正则 & L2正则弹性网络回归贝叶斯岭回归Huber回归KNNSVMSVM最大间隔支持向量 & 支持向量平面寻找最大间隔SVRCART树随机森林GBDTboosting思想AdaBoost思想提升树 & 梯度提升GBDT面试题整理XGBOOST面试题整理LightGBMXGBoost的缺点LightGBM的优化基于Hist
Python机器学习--回归算法--线性回归
轻窕
09-03 3101
线性回归算法的类型 有监督学习的回归算法【标签是连续数据类型】 线性回归基础 研究父子身高关系 研究父辈身高（自变量x）如何决定子辈身高(因变量y) 建立方程表征关系：y = kx+b-------------这个方程是 回归方程 什么是线性? 什么是线性回归方程 什么是非线性回归方程？ ①y = kx+b ②y=$a_1x_1^2+a_2x_2^2 + c$ ③ $y = a_1x_1+a_2x_2 + c$ ①和③是线性方程 ----自变量x的幂 是1次方 ②非线性方程----自变量x的幂 大于等
机器学习算法----原理总结
weixin_41395763的博客
02-24 2565
总结： 线性回归是一种评估自变量X与因变量Y之间的关系 >画出的图像是直的（简单线性回归是直线，多元线性回归是超平面) 多元线性回归原理：
【机器学习】回归算法-精讲
风口IT猪的成长录
11-13 8490
回归算法回归算法线性回归和非线性回归：线性回归线性回归方程：损失函数：损失函数推理过程：1. 公式转换：2. 误差公式：3. 转化为`θ`求解：4. 似然函数求`θ`：对数似然：损失函数：梯度下降：批量梯度下降（BGD）：随机梯度下降（SGD）：`mini-batch`小批量梯下降MBGD：线性回归案例：正则化与岭回归：总结：逻辑回归精确率和召回率：癌症患者逻辑回归案例：逻辑回归总结： 回归算法 数据类型分为连续型和离散型。离散型的数据经常用来表示分类，连续型的数据经常用来表示不确定的值。比如一个产品质量分
机器学习算法之线性回归
weixin_44458771的博客
10-17 1744
线性回归（Linear Regression）模型是机器学习中最简单、最基础的监督学习模型，虽然简单，但却也非常重要，线性回归是很多复杂模型的基础。
机器学习实验 - 线性回归
qq_41626672的博客
10-25 3249
西南交通大学 机器学习实验5 线性回归 编程实现线性回归模型，使用批梯度下降优化算法，基于MAE评估模型性能，对比不同学习率，绘制损失函数曲线图。
机器学习算法基础-逻辑回归
最新发布
09-16
总的来说，逻辑回归是机器学习中基础且实用的算法之一，掌握它对于理解和实践其他复杂的机器学习算法具有重要的铺垫作用。无论你是初学者还是经验丰富的数据科学家，深入理解逻辑回归都将对你的技能提升大有裨益。
机器学习基础算法-回归类型和评价分析
09-07
本主题主要关注回归类型和其评价分析，这是理解并应用机器学习算法的关键组成部分。 1. **线性回归**：线性回归是最基础的回归模型之一，它假设因变量与自变量之间存在线性关系。包括简单线性回归（一个自变量）和...
机器学习算法基础-批量随机梯度下降法回归法
09-05
在机器学习领域，批量随机梯度下降法（Batch Stochastic Gradient Descent, 简称B-SGD）是一种广泛使用的优化算法，尤其在训练回归模型时。本文将深入探讨批量随机梯度下降法的基本概念、工作原理以及它在回归问题中...
机器学习-回归算法1
08-03
回归算法是机器学习中基础且重要的预测模型技术，主要用于连续数值型数据的预测。线性回归是最基础的回归算法之一，其目标是找到一条直线（在一元线性回归中）或超平面（在多元线性回归中）来最好地拟合数据点。线性...
机器学习基础算法11-鸢尾花数据集分析-PCA主成分分析与logistic回归（管道分析）
qq_42749341的博客
08-11 2341
目录数据集介绍PCA主成分分析1.基本原理2.代码实现逻辑回归-管道-Pipeline代码模型泛化能力分析 数据集介绍 鸢尾花数据集有三个类别，每个类别有50个样本。其中一个类别与另外两个线性可分，另外两个不能线性可分。 PCA主成分分析 1.基本原理 在统计学中，主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用于减少数据集的维数，
机器学习基础算法20- 鸢尾花数据集分类-随机森林
qq_42749341的博客
08-20 1363
代码 # 鸢尾花数据分类-随机森林 # 结果为6个随机森林得到的结果 import numpy as np import pandas as pd import matplotlib.pyplot as plt import matplotlib as mpl from sklearn.ensemble import RandomForestClassifier # def iris_type(s): # it = {'Iris-setosa': 0, 'Iris-versicolor': 1
机器学习基础算法13-Logistic回归-ROC和AUC分类模型评估-实例
qq_42749341的博客
08-15 1305
目录一、模型评估介绍1.分类模型评估2.回归模型评估二、ROC和AUC1.理论知识2.ROC曲线分析3.TPR与FPR的计算过程三、实例1.实例12.实例23.实例3-鸢尾花数据集 一、模型评估介绍 1.分类模型评估 2.回归模型评估 二、ROC和AUC 1.理论知识 AUC概念理解： https://www.zhihu.com/question/39840928?from=profile_question_card ROC全称是“受试者工作特征”（Receiver Operating Characte
机器学习算法基础8-模型保存与加载、逻辑回归、Kmeans(聚类)
qq_42749341的博客
08-10 1186
目录一、模型的保存与加载二、逻辑回归-分类算法1.逻辑回归介绍2.逻辑回归损失函数3.逻辑回归API4.LogisticRegression回归案例-良／恶性乳腺癌肿瘤预测5.LogisticRegression总结6.判别模型与生成模型三、k-means-聚类-(非监督学习算法)1.k-means步骤2.聚类案例-用户对物品种类喜好分析3.Kmeans性能评估指标4.Kmeans性能评估指标API5.kmeans总结 一、模型的保存与加载 sklearn模型的加载与保存 API: from sklearn
机器学习算法基础9-Ｎagel-Schreckenberg交通流模型-公路堵车概率模型
qq_42749341的博客
08-11 680
目录场景介绍代码实现对车辆的位移进行限制，当大于水平的公路长度时，则认为是拐外后的位移 场景介绍 路面上有n辆车，以不同的速度向前行驶， 模拟堵车问题。有以下假设： 1.假设某辆车的当前速度是v。 2.若前方可见范围内没车，则它在下一秒的车速提高到v+1，直到达到规定的最高限速。 3.若前方有车，前车的距离为d，且d < v，则它下 一秒的车速降低到d-1 。 4.每辆车会以概率p随机减速v-1。 代码实现 import numpy as np from matplotlib.font_manager
统计学习要素：机器学习算法与LAR回归解析
对于想要深入理解和应用机器学习算法的读者来说，这本书提供了丰富的理论基础和实践经验。 书中还讨论了如何在实际问题中应用这些统计学习工具，以及如何评估和比较不同的模型。此外，它还涉及了交叉验证、偏差-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值