机器学习进阶第二节-回归

最新推荐文章于 2024-09-06 15:00:00 发布
最新推荐文章于 2024-09-06 15:00:00 发布
阅读量68 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 概率论 线性代数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yzy_1117/article/details/120742347
版权

线性回归

使用极大似然估计解释最小二乘

目标函数梯度等于0 求驻点 得到θ

增加λ扰动，可以解决若XTX不可逆或防止过拟合

假设：机器学习中的建模过程充斥着假设，合理的假设是合理模型的必要前提。

正则项L2正则   将线性回归的目标函数增加平方和损失：岭回归

lasso做特征选择 降维  L1正则

Elastic Net ： L1正则和L2正则结合起来 

梯度下降算法：初始化θ，沿着负梯度方向迭代，更新后的θ使得损失函数更小

BGD批量梯度下降算法

SGD随机梯度下降算法   优先选择SGD

mini-batch梯度下降算法 不是没拿到一个样本即更改梯度，而是若干个样本的平均梯队作为更新方向，则是mini-batch梯度下降算法  32 64个等选择样本

online学习 边拿到数据边学习

yzy_1117
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习进阶（一）回归
little_yueyue的博客
02-24 146
contents线性回归梯度下降局部加权线性回归logistic回归Softmax回归 线性回归 目标函数 J(θ)=12∑i=1n(hθ(x(i))−y(i))2=12(Xθ−y)T(Xθ−y)J(\theta)=\frac{1}{2}\sum_{i=1}^n(h_{\theta}(x^{(i)})-y^{(i)})^2=\frac{1}{2}(X\theta-y)^T(X\theta-y)J(θ)=21​i=1∑n​(hθ​(x(i))−y(i))2=21​(Xθ−y)T(Xθ−y) 求解方法 正规求
机器学习2之回归
baidu_38812770的博客
12-10 260
1.线性回归 # 基于线性回归训练single.txt中的训练样本，使用模型预测测试样本。 import numpy as np import sklearn.linear_model as lm import matplotlib.pyplot as mp # 采集数据 x, y = np.loadtxt('../data/ml_data/single.txt', ...
机器学习进阶第二节-回归实践
yzy_1117的博客
10-13 327
MSE均方误差 TSS总平方和 RSS残差平方和 =SSE误差平方和 R2 = 1-RSS/TSS R2越大拟合效果越好 ESS 可解释的平方和 回归平方和 TSS = ESS + RSS 只有在无偏估计时成立 否则 大于等于 LWR 局部加权线性回归 Logistic回归、sigmoid函数 求偏导是为了做梯度下降来进行参数优化 对数线性模型：一个时间的概率odds，是指该事件发生的概率与该事件不发生概率的比值 ...
2022-1-29第四章机器学习进阶--回归
weixin_45526009的博客
01-29 941
线性回归 极大似然估计 例子：房价预测 (误差符合高斯分布—均值为0，方差为某定值) 对数化 （J其实就是目标函数） （目标函数要最小—梯度为0—驻点） (为何不可逆或防止过拟合可以增加扰动) 概念：给定k个点，一定存在k-1次项方程式，通过这个K个点 线性回归：出现过拟合 （正则项：避免参数过大造成的过拟合）：L2正则化—岭回归（加了L2正则项的最小二乘估计）–施加给损失函数的惩罚项 （L1有特征选择功能，L2没有） 最后正则出来的系数结果，越高阶的项系数越小，尤其是LASSO算法，他就是对特
十六、机器学习进阶知识：线性回归与逻辑回归算法
weixin_42051846的博客
12-11 1019
分别从原理以及实例两个部分来依次介绍线性回归与逻辑回归算法，其中逻辑回归算法部分详细说明了其与线性回归的区别以及算法原理中涉及到的逻辑函数、损失函数、梯度下降等概念。
面试笔试整理4：机器学习面试问题准备（进阶） - CSDN博客1
08-03
【机器学习面试问题进阶解析】 在机器学习的面试中，常常会涉及到一系列高级概念和技术。以下是一些关键知识点的详细解析： 1. **主成分分析（PCA）**： 主成分分析是一种降维技术，用于提取数据的主要特征。第二...
python调用opencv库实现kcf跟踪算法_机器学习进阶-目标跟踪-KCF目标跟踪方法 1.cv2.multiTracker_create(构造选框集合) 2. cv2.TrackerKCF_c...
weixin_39908263的博客
02-11 1544
1. tracker = cv2.multiTracker_create() 获得追踪的初始化结果2.cv2.TrackerKCF_create() 获得KCF追踪器3.cv2.resize(frame, (w, h), cv2.INTER_AEAR) # 进行图像大小的重新变化参数说明：frame表示输入图片，(w, h) 表示变化后的长和宽， cv2.INTER_AEAR表示插值的方法4.c...
算法进阶--回归
WslWslYYX的博客
10-19 167
算法进阶--第二天线性回归 线性回归 最小二乘之理解过程： 如对房价的预测: Living area(feet2feet^2feet2) bedrooms Price(1000$/s) 2104 3 400 1600 3 330 … … … … … … 此时通过对面积与卧室个数可以建立一个线性回归来对房价进行预测，预测值为hθ(x)h_\theta(x)hθ​(x)： 如： hθ(x)=θ0+θ1x1+θ2x2h_\theta(x)=\theta_0+\theta_1{x
软件测试流程进阶----两年软件测试总结
nmeng897的博客
08-24 632
好文分享 原文链接：https://www.cnblogs.com/fnng/archive/2012/08/04/2622463.html 前言 如果想让测试在公司的项目中发挥出它最大的价值，并不是招两个测试技术高手，或引入几个测试技术，而是测试技术对项目流程的渗透，以及测试流程的改进与完善。虽然，当然测试行业前景乐观，许多中小企业也都在引入测试，但一百个公司就有一百种测试，每个公司对测试的看法不同，公司对测试的定位也不完全一样。本人前后经历两个公司，以自己的拙见浅谈一下对测试流程的看法。 这几天整理.
【机器学习】朴素贝叶斯网络的基本概念以及朴素贝叶斯网络在python中的实例
最新发布
ya的博客
09-06 682
概率推断的自动化在医疗领域具有巨大的潜力，可以辅助医生做出更准确和高效的决策。然而，它不应完全取代人类医生，而是作为一个辅助工具，结合医生的专业知识和临床经验，共同提升医疗服务的质量和效率。
【机器学习】朴素贝叶斯方法的概率图表示以及贝叶斯统计中的共轭先验方法
ya的博客
09-06 1196
朴素贝叶斯方法的概率图表示是一种非常有用的视觉工具，它帮助我们理解模型的假设和结构尽管存在这些局限性，朴素贝叶斯分类器由于其简单性和在某些情况下的有效性，仍然是数据科学家和机器学习工程师常用的一种工具。在实际应用中，通常会结合其他算法和技术来克服这些限制，或者在其他算法不适用时作为基准模型如果一个先验分布与似然函数结合后，其后验分布与先验分布属于同一分布族，那么这个先验分布被称为共轭先验。
【机器学习】循环神经网络(RNN)介绍
loveting99的博客
09-01 1436
RNN正是为了这一需求而设计的，其核心优势在于其内部的循环结构，使得网络能够保持对之前输入的记忆，从而捕捉序列中的上下文信息。RNN的结构变种，如LSTM和GRU，通过引入门控机制和记忆单元，显著改进了标准RNN在处理长序列数据时的表现。然而，随着技术的不断进步和新的需求的出现，RNN的未来展望包括多个方向，其中包括更高效的网络架构、更先进的训练技术和更广泛的应用场景。理解RNN的基本原理和结构是深入掌握更复杂的RNN变种（如LSTM和GRU）的基础，为后续应用和研究提供了必要的理论支持和实践指导。
机器学习（ML）算法分类
m0_46171719的博客
08-28 467
机器学习算法种类繁多，每种算法都有其独特的优势和适用场景。在选择算法时，需要根据具体问题的性质、数据的特征以及预期的结果来综合考虑。同时，随着机器学习技术的不断发展，新的算法和模型不断涌现，为解决复杂问题提供了更多的可能性。机器学习（ML）算法是一个广泛而多样的领域，涵盖了多种用于数据分析和模式识别的技术。监督学习算法使用标记（即已知结果）的训练数据来训练模型，以便对新数据进行预测。无监督学习算法不需要标记的训练数据，而是从数据中自动发现隐藏的模式或结构。
机器学习数学公式推导之降维
QuantumYou的博客
09-03 1042
机器学习数学公式推导
机器学习如何用于音频分析？
gongdiwudu的专栏
09-03 1259
近十年来，机器学习越来越受欢迎。事实上，它被用于医疗保健、农业和制造业等众多行业。随着技术和计算能力的进步，机器学习有很多潜在的应用正在被创造出来。由于数据以多种格式大量可用，因此现在是使用机器学习和数据科学从数据中提取各种见解并使用它们进行预测的合适时机。机器学习最有趣的应用之一是音频分析和分别了解不同音频格式的质量。因此，使用各种机器学习和深度学习算法可确保使用音频数据创建和理解预测。
统计学习方法——机器学习和统计学习介绍及基本入门
swpucwf的博客
09-04 7630
1．统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科。统计学习包括监督学习、非监督学习、半监督学习和强化学习。 2．统计学习方法三要素——模型、策略、算法，对理解统计学习方法起到提纲挈领的作用。 3．本书主要讨论监督学习，监督学习可以概括如下：从给定有限的训练数据出发， 假设数据是独立同分布的，而且假设模型属于某个假设空间，应用某一评价准则，从假设空间中选取一个最优的模型，使它对已给训练数据及未知测试数据在给定评价标准意义下有最准确的预测。 4．统计学习中，进行模型选择.
机器学习（五） -- 监督学习（8） --神经网络2
zqx1473的博客
09-03 1568
tips：标题前有“***”的内容为补充内容，是给好奇心重的宝宝看的，可自行跳过。文章内容被“文章内容”删除线标记的，也可以自行跳过。！！”一般需要特别注意或者容易出错的地方。本系列文章是作者边学习边总结的，内容有不对的地方还请多多指正，同时本系列文章会不断完善，每篇文章不定时会有修改。由于作者时间不算富裕，有些内容的《算法实现》部分暂未完善，以后有时间再来补充。见谅！文中为方便理解，会将接口在用到的时候才导入，实际中应在文件开始统一导入。
生成对抗网络在数字病理学中的应用综述｜文献精析·24-09-03
罗小罗同学的博客
09-03 1434
本期推文主题：生成对抗网络今天这篇推文于2024年发表于《Mod Pathol》，目前IF=7.1，属于。
机器学习进阶：sklearn到深度学习实战
在第二天的课程中，首先介绍了如何使用sklearn的数据集接口，包括分类和回归数据集，并强调了数据集划分的重要性，通常将数据分为训练集和测试集，以评估模型的泛化能力。 **k-近邻算法（kNN）** kNN是一种基于实例...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值