机器学习之线性回归

最新推荐文章于 2024-07-22 09:16:52 发布
最新推荐文章于 2024-07-22 09:16:52 发布
阅读量168 收藏
点赞数
文章标签： 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cccccccaaaaaaaaa/article/details/105815489
版权

整体思路：1.通过创建模型创建出一组回归系数偏置（y=ax+。。。）然后与真实值进行损失函数处理，然后再利用两种损失函数的优化方法进行优化，达到最优解

1.在这里插入图片描述
w是回归系数（又叫权重），b偏置
假定特征值和目标值满足函数关系（线性模型），最后找到w和b从而满足关系

线性模型：包括线性和非线性两种
在这里插入图片描述
只要满足自变量一次或者参数一次都可以是线性模型
在这里插入图片描述
2.线性回归的损失和优化原理
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
为了求出损失函数最小，从而得到线性模型参数，所以优化算法

3.优化算法
3.1）正规方程
在这里插入图片描述
在这里插入图片描述
3.2）梯度下降
在这里插入图片描述
阿尔法是步长，右边的是方向
理解：逐渐迭代到最优解

在这里插入图片描述

cccccccaaaaaaaaa
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
线性回归 (Linear Regression)
qq_42616792的博客
09-13 279
线性回归 (Linear Regression) 本文目录线性回归 (Linear Regression)1. 线性回归1.1 引言1.2 线性回归的假设 (hypothesis)1.3 代价函数 (cost function)1.4 梯度 (gradient)1.5 批梯度下降 (batch gradient descent)1.6 随机梯度下降 (stochastic gradient descent)1.7 关于梯度下降算法的更多讨论1.8 最小二乘法 (least squares)2. 线性回归实例
理解线性回归（三）——岭回归Ridge Regression
bigfacesafdasgfewgf
11-06 1万+
Scikit-Learn学习笔记——岭回归Ridge Regression
机器学习中的线性回归学习笔记
zhangycode的博客
02-14 248
特点：输出为连续值 模型： 线性回归所采用的模型如下式， x1x_1x1​、x2x_2x2​是用来预测的两个特征，即用来预测标签的两个因素，这里只列出了含有 损失函数 用来衡量预测值与真实值之间的误差，这里采用的是平方损失 训练 把数据输入模型进行训练，来找出一组模型参数W、b，使训练样本平均损失最小，即使L(w，b)取得最小值的w和b的值。 为了得出解，可以直接计算得出公式表示的结果，这是解...
【吴恩达机器学习笔记详解】第二章 线性回归的过程
weixin_43872169的博客
04-12 1997
2.1 模型描述 本章将以线性回归为例子，介绍整个算法的过程，以及算法中过程涉及的计算参数等。 这是一个线性回归的例子，当你想要预测一个未知的房价时，要根据给出的所有数据，去寻找一条线来拟合已给的数据，再通过这条线去预测未知的房价。 这里描述的是对数据集的介绍，对于监督学习来说，会给定一些数据集如上图所示，其中 m代表的是数据的数量，这图中也就是多少列。 x代表输入变量，也就是数据集的特征，图中是指房子的大小 y代表输出变量，也就是我们想要的变量，图中指的是房子的价格 （x，y）指的是一个训练样本 带上
小白快速理解机器学习之线性回归
04-02
线性回归是机器学习领域中最基础且重要的算法之一，尤其适合初学者入门。它是一种预测模型，通过构建一个线性的数学方程来描述两个或多个变量之间的关系，以预测目标变量的值。在这个主题中，我们将深入理解线性回归...
机器学习之线性回归算法
01-06
**线性回归（Linear Regression）**是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。 2.特点 优点：结果具有很好的可...
机器学习算法/模型——线性回归
Robin_Pi的博客
02-21 3194
线性回归0. 概念/术语1. 假设函数：2. 损失函数：平方误差函数3. 优化算法梯度下降法：求解函数极值相关概念矩阵求解 0. 概念/术语 线性回归模型是：利用线性函数对一个或多个自变量 （x 或 (x1,x2,…xk)）和因变量（y）之间的关系进行拟合的模型。 正确理解”线性“ 注意：“线性”的意思并非是 y 和 x 为直线关系！ 线性函数的定义是：一阶（或更低阶）多项式，或零多项式。 ...
线性回归损失函数求偏导公式推导
qq_39921539的博客
03-24 1201
对线性回归、逻辑回归、各种回归的概念学习
热门推荐
viewcode的专栏
04-17 28万+
回归问题的条件/前提： 1） 收集的数据 2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. 线性回归 假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。 收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，向量表示形
机器学习：线性回归，原来是这么回事
分享日常的学习，开展的项目，编写的软件，解决的问题等~
01-28 629
本节介绍机器学习中最简单的线性回归模型和逻辑回归模型，注意，线性回归解决的是回归问题，而逻辑回归解决的是分类问题，不要被逻辑回归中的“回归”二字误导～ 线性回归 假设输入x是一个值，则线性回归的任务就是找到参数w和b，使得y^=f(x)=wx+b\hat{y}=f(x)=wx+by^​=f(x)=wx+b 接近真实的标记y。在这种情况下，线性回归模型图像是一条直线。 例如sklearn中的波士顿房价数据集， 租金和房间面积就可以看做线性关系，使用线性回归方法拟合的结果如图所示： 如果x是一个向量，则w.
一文理解线性回归原理(模型,损失函数,正则化)
Marcus-Bao的个人主页
03-11 2412
线性回归模型函数和损失函数 线性回归模型 线性回归是机器学习中最基本的问题模型了，线性回归遇到的问题一般是这样的。我们有m个样本,每个样本对应n维特征和一个结果输出,如下: (x1(0),x2(0),...xn(0),y0),(x_1^{(0)},x_2^{(0)},...x_n^{(0)},y_0),(x1(0)​,x2(0)​,...xn(0)​,y0​), (x1(1),x2(1),...x...
线性回归损失函数的最优解推导
june_young_fan的博客
07-31 3807
前言 我的上一篇文章给大家分析了线性回归的损失函数为什么是最小二乘，那么接下来给大家一下简单的演绎一下线性回归损失函数的最优解的推导过程。 场景 假设我们有由 MMM 个 NNN 维样本组成的矩阵 XXX ，其中X的每一行对应一个样本，共 MMM 个样本，每一列对应样本的一个维度，共 NNN 维，还有额外的一维常数项，全为 111 （这个地方是为了拟合回归方程中的偏置项，不再详细解释）。 解析式推...
机器学习与人工智能
最新发布
zgw555555的专栏
07-22 609
人工智能（AI）定义：人工智能是一种模拟人类智能的技术，旨在使计算机或机器能够执行通常需要人类智能才能完成的任务，如语音识别、图像识别、自然语言处理、决策制定等。特点：人工智能是一个广泛的概念，它涵盖了多种技术和方法，包括机器学习、深度学习、自然语言处理、计算机视觉等。人工智能的目标是使机器具备类似甚至超越人类的智能水平。机器学习（ML）定义：机器学习是人工智能的一个子领域，它专注于使用算法和统计模型让计算机从数据中自动学习并改进其性能，而无需进行明确的编程。
探索数据的内在结构：使用Scikit-Learn确定聚类数
2401_85761762的博客
07-19 619
通过本文的介绍，你应该对如何在sklearn中确定聚类数有了基本的了解。选择合适的聚类数是聚类分析的关键步骤，通过使用sklearn提供的工具，可以有效地提高聚类分析的效果。请注意，本文提供了一个关于如何在sklearn中确定聚类数的概述，包括代码示例和关键概念的解释。通过本文，我们希望能够帮助读者掌握sklearn中确定聚类数的方法，并在自己的项目中应用这些技术来提升聚类分析的效果。为了更深入地了解聚类分析和确定聚类数的方法，推荐阅读相关的书籍和论文，以及sklearn的官方文档。
【机器学习】EM算法（Expectation-Maximization算法）详解
m0_53700832的博客
07-19 821
EM算法就是在不断猜测和改进的过程中，逐步优化模型参数，使其更好地解释数据。在处理带有隐藏变量或不完全数据的问题时，它是一个非常有效的工具。一个函数fff被称为凸函数，如果对于任意的x1x2x_1, x_2x1​x2​和λ∈01λ∈01fλx11−λx2≤λfx11−λfx2fλx1​1−λx2​≤λfx1​1−λfx2​。
【人工智能 | 机器学习 | 理论篇】模型评估与选择
qq_49150070的博客
07-20 1189
本文为个人学习笔记。
机器学习之线性回归梯度下降法
12-12
线性回归是机器学习中的一种基本算法，梯度下降法是线性回归中常用的优化算法。下面是线性回归梯度下降法的实现步骤： 1.读取数据集，包括自变量和因变量。 2.初始化相关参数，包括学习率、迭代次数、截距和斜率等。 3.定义计算代价函数，常用的代价函数是均方误差（MSE）。 4.梯度下降，通过不断迭代更新截距和斜率，使得代价函数最小化。 5.执行梯度下降算法，得到最优的截距和斜率。 下面是Python代码实现： ```python import numpy as np # 读取数据集 def load_data(file_path): data = np.loadtxt(file_path, delimiter=',') x_data = data[:, :-1] y_data = data[:, -1] return x_data, y_data # 初始化相关参数 def init_params(): b = 0 k = 0 learning_rate = 0.01 num_iterations = 1000 return b, k, learning_rate, num_iterations # 定义计算代价函数 def compute_cost(b, k, x_data, y_data): total_error = 0 for i in range(len(x_data)): total_error += (y_data[i] - (k * x_data[i] + b)) ** 2 cost = total_error / float(len(x_data)) return cost # 梯度下降 def gradient_descent(b, k, x_data, y_data, learning_rate, num_iterations): m = float(len(x_data)) for i in range(num_iterations): b_gradient = 0 k_gradient = 0 for j in range(len(x_data)): b_gradient += (1/m) * ((k * x_data[j] + b) - y_data[j]) k_gradient += (1/m) * ((k * x_data[j] + b) - y_data[j]) * x_data[j] b = b - (learning_rate * b_gradient) k = k - (learning_rate * k_gradient) return b, k # 执行梯度下降算法 def linear_regression(file_path): x_data, y_data = load_data(file_path) b, k, learning_rate, num_iterations = init_params() print("Starting parameters: b = {0}, k = {1}, cost = {2}".format(b, k, compute_cost(b, k, x_data, y_data))) b, k = gradient_descent(b, k, x_data, y_data, learning_rate, num_iterations) print("After {0} iterations: b = {1}, k = {2}, cost = {3}".format(num_iterations, b, k, compute_cost(b, k, x_data, y_data))) # 调用线性回归函数 linear_regression('data.csv') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值