机器学习算法基础 Day6

已于 2022-12-24 22:23:07 修改
阅读量143 收藏
点赞数
文章标签： 算法 人工智能
于 2022-12-16 23:12:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43902376/article/details/128348906
版权
本文介绍了机器学习中的线性回归分析，包括线性模型、损失函数、最小二乘法和梯度下降法。讨论了过拟合和欠拟合的概念，并提出了解决方法，如L2正则化的Ridge岭回归。此外，还简要介绍了无监督学习中的K-means聚类算法。
摘要由CSDN通过智能技术生成

回归算法-线性回归分析

回归：目标值连续

线性回归：寻找一种能预测的趋势

线性关系：二维，直线关系；三维，目标值在一个平面内。

在这里插入图片描述

在这里插入图片描述

线性模型

在这里插入图片描述

b是为了将平面的直线都概括进去。因为y=kx只能概括经过原点的直线

在这里插入图片描述

线性回归

通过属性的线性组合来进行预测的函数：

 在这里插入图片描述

矩阵和数组的关系补充：

在这里插入图片描述

从上图分析，数组在numpy中是ndarray类型，我们引入矩阵，就是为了满足一些特定的运算，我们要求他必须是二维，二维是个什么概念？就是[[],[],[],[]]这种，就是深度为2，我们把特征值都搞成矩阵，当然权重也要搞成矩阵，因为目标值必须是一个样本对应一个值，如特征值的矩阵为1x4,那么权重矩阵就要4x1,这才能得到一个单独的数！！！下面演示一下之前numpy里疑惑的地方！
在这里插入图片描述

 在这里插入图片描述

之前numpy就解释过multiple和dot方法，现在应该知道为什么二者不一样了，multiple针对数组，dot针对矩阵！ 

损失函数(误差大小)

预测结果与真实值是有一定的误差
单变量

在这里插入图片描述

 多变量：

在这里插入图片描述

在这里插入图片描述

hw就是w0+w1x1+w2x2+…,要想求损失函数的值，就得算各个hw,要想知道hw，就得直到各个w的值。 尽量去减少这个损失（两种方式），目的是找到最小损失对应的W值。

在这里插入图片描述

下面提供两个方法去寻找最合适的w。

正规方程：

最小二乘法之正规方程（参数最优解）

在这里插入图片描述

 这个参数向量，就可以让代价函数取最小值。

在这里插入图片描述

 从上图我们可

最低0.47元/天 解锁文章
小浩码出未来！
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
各种回归全解：传统回归、逻辑回归、加权回归/核回归、岭回归、广义线性模型/指数族
ownfed的专栏
11-16 1万+
一。前言： 1、回归分析有两类用途：1、拟合预测。2、分类 2、一些标记： x为输入的特征向量组，每个特征向量为n维（表示有n个特征） y为特征向量对应的类别 对于训练样本来说： 表示第i个样本（x，y），i=1……m（表示一共m个训练样本） 表示第i个特征向量的第1、2个特征值 为‘回归拟合系数’，所以对应x的维度，为n维 二。传统的线性回归（只能做拟合
线性回归、岭回归、逻辑回归、聚类
Macsen's Blog
03-15 1101
分类算法的目标值是离散型的 如果目标值是连续型的值，就需要回归算法 比如房价预测、销售额预测、贷款额度预测等 回归算法-线性回归分析 举个栗子 期末成绩：0.7×考试成绩+0.3×平时成绩（各个特征跟某个值组合在一起去预测） 西瓜好坏：0.2×色泽+0.5×根蒂+0.3×敲声（把回归问题转换为分类问题） 线性关系模型 一个通过属性的线性组合来进行预测的函数： 为权重，称为偏置项，可以理解为： 线性回归 定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其.
sklearn之逻辑回归和岭回归
影子
04-24 1475
过拟合与欠拟合 过拟合：一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在训练数据外的数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂) 欠拟合：一个假设在训练数据上不能获得更好的拟合， 但是在训练数据外的数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单) 欠拟合原因以及解决办法 原因：学习到数据的特征过少 解决办法：增加数据的特征数量 过拟合原因以及解决办法 原因：原始特征过多，存在一些嘈杂特征， 模型过于复杂是因
机器学习—回归模型—逻辑回归、最小二乘回归、岭回归、套索回归、弹性网回归
柳成荫
08-07 4058
回归模型目标函数 一、岭回归模型 1、介绍 Ridge/RidgeCV：使用结构风险最小化=损失函数（平方损失）+正则化（L2范数） Ridge 回归通过对系数的大小施加惩罚来解决 普通最小二乘法 的一些问题。 岭系数最小化的是带罚项的残差平方和， 其中，α≥0α≥0 是控制系数收缩量的复杂性参数： αα 的值越大，收缩量越大，这样系数对共线性的鲁棒性也更强。 2、导库实现 导库 from ...
机器学习算法基础day6-7
weixin_58975360的博客
02-11 764
1sklearn k-近邻算法API 数据的处理 （1）缩小数据集范围 DataFrame.query() （2）处理日期数据 pd.to_datetime pd.DatetimeIndex （3）增加分割的日期数据 （4）删除没用的日期数据 pd.drop （5）将签到位置少于n个用户的删除 place_count =data.groupby('place_id').aggregate(np.count_nonzero)tf = place_count[place_count..
机器学习算法基础day6
prettygirlman的博客
07-24 138
分类算法-逻辑回归 逻辑回归 sigmoid函数 逻辑回归公式 逻辑回归的损失函数、优化 sklearn逻辑回归API LogisticRegression sklearn.linear_model.LogisticRegression(penalty=‘l2’, C = 1.0) Logistic回归分类器 coef_：回归系数 LogisticRegression总结 应用：广告点击率预测、电商购物搭配推荐 优点：适合需要得到一个分类概率的场景 缺点：当特征空间很大时，逻辑回归的性能不是很好 （
机器学习算法基础 DAY 6 线性回归&岭回归
weixin_44376037的博客
11-09 176
回归算法-线性回归分析 回归：目标值连续 线性回归：寻找一种能预测的趋势 线性关系：二维，直线关系；三维，目标值在一个平面内。 线性模型 通过属性的线性组合来进行预测的函数： 线性回归 预测结果与真实值是有一定的误差 单变量： 多变量： 损失函数(误差大小) 尽量去减少这个损失（两种方式），目的是找到最小损失对应的W值。 最小二乘法之正规方程 这个参数向量，就可以让代价函数取最小值。 最小二乘法之梯度下降 sklearn线性回归正规方程、梯度下降API 正规方程： sklearn.line
机器学习算法基础day8
weixin_58975360的博客
02-27 1706
1 常见决策树使用的算法 ID3 信息增益 最大的准则 C4.5 信息增益比 最大的准则 CART 回归树: 平方误差 最小 分类树: 基尼系数 最小的准则 在sklearn中可以选择划分的原则 2sklearn决策树API 3泰坦尼克号乘客生存分类模型 (1)pd读取数据 (2)选择有影响的特征，处理缺失值 (3)进行特征工程，pd转换字典，特征抽取 x_train.to_dict(orient="records") (4)决策树估计器流程 决策树的结构、本地保...
线性回归，岭回归，LASSO回归与逻辑回归
init__的博客
10-12 3405
线性回归 线性回归，顾名思义，是使用属性之间的线性组合以预测输出，引入常量项x0=1x_0=1x0​=1 后，其数学公式如下： y=∑i=0Nwixiy = \sum_{i=0}^N w_i x_iy=i=0∑N​wi​xi​ 一般来说，我们使用均方误差作为其损失函数，其数学公式如下： L=∑k=1(w⃗xk−yk)2L=\sum_{k=1} (\vec w x_k-y_k)^2L=k=1∑​(wxk​−yk​)2 那我们的 ...
机器学习—线性回归、岭回归与逻辑回归
weixin_40876685的博客
05-01 348
理论部分：https://www.cnblogs.com/pinard/p/6029432.html sklearn中逻辑回归相关参数：https://www.cnblogs.com/pinard/p/6035872.html 对是否患癌症进行预测： from sklearn.datasets import load_breast_cancer from sklearn.metrics impor...
机器学习1基础回归模型之线性回归，岭回归和Lasso回归
zhuchangbo18的博客
08-24 1271
基础回归模型包括： 1.Linear Regression(线性回归)及其高阶版[Ridge Regression(岭回归)和Lasso回归] 2.Logistic Regression(逻辑回归) 3.Softmax Regression 其中后两个在神经网络中也经常用到 任务：...
机器学习模型
BelthPixtink的博客
10-13 419
[Part1]模型评估指标 一、回归模型 1. 绝对误差（mean_absolute_error） 预测点与真实点之间距离之差的绝对值的平均值 '''scikit-learn实现：''' from sklearn import metrics absolute_error = metrics.mean_absolute_error(y_true,y_pred) 2. 均方误差（mean_squar...
深入理解线性回归与岭回归(数学推导)
初一的博客
01-07 2322
线性回归推导 1. 回顾   对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择： 用“残差和最小”确定直线位置...
线性回归、岭回归、Lasso回归
Panpan Wei的博客
03-13 1238
首先理解一下什么是回归问题，回归是监督学习的一个重要问题，回归用于预测输入变量和输出变量之间的关系。回归模型是表示输入变量到输出变量之间映射的函数。回归问题的学习等价于函数拟合：使用一条函数曲线使其很好的拟合已知函数且很好的预测未知数据。 那么接下来就引入正题： 1.线性回归的一般形式如下所示： 在这里的损失函数是采用的是最小二乘法，那么什么是最小二乘法呢，其实很简单。我们有很多的给...
day03-线性回归、逻辑回归、岭回归
qq_36334897的博客
09-03 449
一、线性回归 对象 目标型是离散的数据 目的 试图学得一个通过属性(特征)的线性组合来进行预测的函数 ????(????)=????_1 ????_1+????_2 ????_2+…+????_???? ????_????+???? 其中，w为权重，b称为偏置项，可以理解为：????_0×1 定义 线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。 其中特点为一个或多个称为回归系数的模型参数的线性组合 分类 一元线性回归：涉及到的变量(特征)只有一个 多元线性回归：涉及到的变量(特征)两个
探索 YOLO v3 实现细节 - 第4篇 数据和y_true
weixin_34320159的博客
08-14 1859
YOLO，即You Only Look Once的缩写，是一个基于卷积神经网络（CNN）的物体检测算法。而YOLO v3是YOLO的第3个版本（即YOLO、YOLO 9000、YOLO v3），检测效果，更准更强。 YOLO v3的更多细节，可以参考YOLO的官网。 YOLO是一句美国的俗语，You Only Live Once，你只能活一次，即人生苦短，及时行乐。 本文主要分享，如何实现Y...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值