机器学习模型（线性回归、逻辑回归、决策树和随机森林、SVM&向量机）

最新推荐文章于 2024-03-07 17:20:44 发布
最新推荐文章于 2024-03-07 17:20:44 发布
阅读量4.4k 收藏 15
点赞数
分类专栏： 机器学习 文章标签： 线性回归 逻辑回归 决策树和随机深林 随机森林 聚类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41821067/article/details/115358983
版权

目录


R/python/jupter
jupter notebook

包

mpl_finance

数据清洗与特征选择
OpenCV图像处理
时间序列分析
疫情模拟
机器学习与深度学习

机器学习模型

股价预测

方法：自回归

loss

SGD

线性回归（模型是什么样？损失函数是什么？）、逻辑回归

高斯分布，最大似然估计MIE，最小二乘法
逻辑回归和softmax和神经网络中的全连接层

houseing.data

500多个不同房屋的信息
m=506,n=13,Xmn Ym1
(xi,yi)
输入xi,输出yi,
xi---->yi得到一个模型。
yi=Model(xi，Θ)
参数记为Θ，里面含有多个参数，Θ是个向量，x,y是已知，
Θ是未知向量，VGGNet :138M 参数， 线性回归：14个
yi_predice与yi之间误差总和（平方和）是最小的。（yi_predice（Θ）-yi）（2）
CROSS Entropy：交叉熵
SSE
MSE：均方误差，
loss=模型误差和/个数m,loss只与Θ有关，称为损失函数。
Θ初始化：随机/先验
我们不知道函数是什么？对损失函数求偏导。∂loss/∂θ,沿着负梯度做下降？Θ

在这里插入图片描述

技术点
梯度下降算法
最大似然估计

线性回归

模型是什么？
一元，二元，
在这里插入图片描述

损失函数是什么

在这里插入图片描述

误差有正有负

去猜服从什么分布！

高斯是不直观，欧拉是直观，自己去确定的。
（假设）误差是独立同分布的，服从均值为0，方差为σ²的高斯分布、
P(y1,y2,y3…ym)是似然概率。
L(Θ)最大似然函数。
在这里插入图片描述
图上的x,y是训练样本
使用梯度下降算法不能保证是最优的。

防止过拟合

在这里插入图片描述
y值可以通过X的值求出来。
可以求得Θ是9行一列的，就是从（a0…a8）
在这里插入图片描述

将扭曲的线：过拟合
将直线称为欠拟合

怎么防止过拟合？

模型不能过于复杂，如果非要选择复杂模型去做，
在这里插入图片描述

在这里插入图片描述
在逻辑回归logisticregression中，C是1/2λ,

正则项与防止过拟合

正则就是定义的规则，不让参数变得太大，
conv2D 的kernel_regularizer(正则核)，bias_regularizer可以给出L1或者L2，或者L1和L2
这样的话过拟合的线就会变得平滑
通过正则化计算得到高次方的系数几乎为0，把其删掉,取低次方的系数，也就是降维。这会更加接近我们的真实情况。

怎么确定L1和L2的值呢？

在这里插入图片描述
对数空间的线性模型，lassoCV中的参数**logspace(-3,3,20)**就是从0.001到1000的20个值。是现实中的指数值。alphas默认是100个值，就是值的个数。
RidgeCV 的cv值是交叉验证去几则，不要取得太大，默认是3则，决定分割稳定性。

梯度算法

为什么叫回归？

Y是连续的，回归是预测，离散是分类。噪声是要回归到均值的。
对于加权的要用到L1,l2，决策用 就用到其他。

梯度下降算法

迭代
给出初始值和学习率与梯度函数，求x=0（初始值）的梯度
在这里插入图片描述

用损失函数做梯度下降算法。假如有1000个样本，求取某一个样本下的梯度，然后对参数做更新，求第二个样本的梯度，再更新，这就是随机梯度下降算法。对样本的梯度加和，这是批量下降梯度算法，只要给出合适学习率，都可以求极小值，随机梯度下降可能有偏差。
在这里插入图片描述

逻辑回归

y的取值,是离散还是连续？
连续是回归，![离散是分类
逻辑回归是分类问题

在这里插入图片描述
在这里插入图片描述

推导

在这里插入图片描述
在这里插入图片描述
机器学习和深度学习的其他模型是怎样的？
交叉熵预测值和真实熵的熵
在这里插入图片描述
在这里插入图片描述

怎样将训练集和数据集分开
x_train,x_test,y_trian,y_test=train_test_split(x,y,test_size=0.3)
model=logicregression()
model.fit(x_train,y_train)
y_train _pred=model.predict(x_train)
print(“训练正确率”+accuracy_score(y_trian_pred,y_train))
有过拟合行为在这里插入图片描述

用正则项
在这里插入图片描述

在这里插入图片描述
逻辑分类超过两个要用softmax,

4分类：ABCD
A|BCD
B|ACD
C|ABD
D|ABC
弄成4个二分类器，代码中用到权值和截距
multi_class=multionmial是多分类器，是不能使用liner学习方法，可以使用拟牛顿学习算法

机器学习模型–决策树和随机森林

在这里插入图片描述

决策树：level

信息熵

度量模型不确定程度的量
Y：红，绿色
N：100 100
100/200=0.5
从 200个随机选择的概率都是0.5
如果红是0.9，绿是0.1 ，这样更有意义，更利于我们对类别的判定。
决策树可以容纳的样本个数是很深的。现实中做决策树不是很深的，在做决策树的时候，如果多加一层样本数量就会极速膨胀。

随机森林是一个简单的混合模型

香农信息熵

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
1、随机森林怎么做回归
2、数据不均衡，怎么用随机森林进行调整。

神经网络

SVM & 向量机

线性可分向量机

在这里插入图片描述在这里插入图片描述

支持向量机的原理和目标

点到直线的距离

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

支持向量机的计算

在这里插入图片描述在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

SVM代码

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

聚类

无监督的

在这里插入图片描述

Nefelibat
关注
  • 0
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
随机森林、LSTM、SVM、线性回归四种机器学习方法预测股价
06-17
通过多种机器学习股票价格预测，包括随机森林(Random Forest),决策树(SVM),线性回归(LinearRegression),长短期记忆(LSTM)。 利用toshare获取600519.sh 2000-2020年数据，除了随机森林外基本都是以前19年数据做训练集，最后一年做预测。数据获取的文件在toshare文件夹，获取好的数据集一并在内。想自己拿数据，注册toshare换接口即可。 这些内容都是结课实践要求下我搜集网络资料学习而来，自己理解修改整理使得基本以同一个数据集进行预测。可以说对国内网络上参差不齐的简单机器学习股票预测做了一个复现整理。这对我的机器学习知识有一定帮助，也希望能帮助到需要它的人。 全部为jupterbook格式，代码注释全面且执行效果都在。 适合个人学习、课程团队作业、毕业设计参考等。
机器学习实战的所有源代码《KNN、决策树、朴素贝叶斯、Logistic回归、SVM、AdaBoost、回归、K-means》等
04-29
本资源为机器学习实战的所有源代码。包含的内容有使用k-近邻算法改进约会网站的配对效果、使用k-近邻算法识别手写数字、使用决策树预测隐形眼镜类型、使用朴素贝叶斯过滤垃圾邮件、从疝气病症预测病马的死亡率、SVM手写识别问题回顾、利用AdaBoost元算法提高分类、线性回归预测鲍鱼的年龄、岭回归预测乐高玩具套装的价格、树回归、K-means对地理坐标进行聚类、Apriori算法发现毒蘑菇的相似特征、FP-growth算法从新闻网站点击流中挖掘、PCA对半导体制造数据降维、SVD基于协同过滤的推荐引擎、分布式SVM的Pegasos算法、用mrjob实现MapReduce版本的SVM。’
【机器学习】回归模型总结笔记|线性回归&岭回归&Lasso回归&决策树回归&随机森林回归&梯度提升回归&支持向量回归&XGBoost回归&LightGBM回归&神经网络回归
最新发布
weixin_62100318的博客
03-07 1069
在微信公众号上看到一篇总结十大回归模型的帖子，感觉很不错，分享给各位。在此基于该文章已有的总结再加以自己的理解与整理，如有不正确的地方期待大佬们在评论区中指出。
load-forecasting-algorithms:使用多种算法（线性回归，随机森林，支持向量机，BP神经网络，GRU，LSTM）进行电力系统负荷预测电力预测。通过一个简单的例子。各种算法（线性回归，随机森林，支持向量）机器，BP神经网络，GRU，LSTM）用于电力系统负荷预测
03-11
负荷预测算法 使用多种算法（线性回归，随机森林，支持向量机，BP神经网络，GRU，LSTM）进行电力系统负荷预测/电力预测。通过一个简单的例子。各种算法（线性回归，随机森林，支持向量机，BP神经网络，GRU，LSTM）用于电力系统负荷预测/电力预测。
线性回归与回归树的比较研究-研究论文
05-19
在数据挖掘中，预测建模是一种用于在因变量与各种自变量或预测变量之间找到数学相关性的技术。 通常，线性回归描述多个自变量或预测变量与一个响应或因变量之间的相关性。 在机器学习中，当决策树用于分类目的时，CART模型将用于分类和回归目的，然后它指的是分类树；如果将决策树应用于回归，则它可能指的是回归树。 决策树也称为回归树。 在本文中，我们专注于线性回归和回归树的概念。 来自UCI（机器学习存储库）的数据集用于这项研究工作。 该研究的目的是区分从线性回归和回归树获得的结果。 最后，决策树比线性回归提供更好的结果，并且最终预测模型是在平方的最小均和上选择的。
使用随机森林、SVM、线性回归等模型预测肺癌患病风险
12-28
使用随机森林、SVM、线性回归等常用机器学习模型预测肺癌患病数据集的存活时长。 随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面。
计算机保研面试之机器学习
ylx的博客
11-18 1334
保研面试之机器学习
机器学习 之线性回归、逻辑回归、 SVM支持向量机、随机森林
qq_45956730的博客
06-05 3442
机器学习 之线性回归、逻辑回归、 SVM支持向量机、随机森林
AI人工智能 最常见的机器学习算法：线性回归、逻辑回归、决策树、随机森林、支持向量机、K近邻和神经网络
网络技术联盟站
05-21 2169
本文介绍了AI人工智能最常见的机器学习算法，包括线性回归、逻辑回归、决策树、随机森林、支持向量机、K近邻和神经网络等。这些机器学习算法在不同的应用场景中有着广泛的应用。选择合适的机器学习算法可以提高预测准确率和模型性能。随着机器学习技术的不断发展，相信未来会有更多的机器学习算法出现，为我们的生活带来更多的便利和创新。
机器学习中回归模型对比
Ethan的博客
08-13 2976
【1】普通线性回归：最小二乘法，使平方误差最小，适用于线性回归，容易受到异常值的影响。 无异常值情况： 有异常值情况： 【2】岭回归：添加了标准化，排除了异常值的干扰 【3】多项式回归，需要手动设置多项式次数 如果数据点本身的模式中带有自然的曲线，而线性模型是不能捕捉到这一点的，来看看多项式模型的效果 【4】决策树回归 还有一种带AdaBoost算法的决策树回归器，效果更好...
机器学习——决策树与随机森林
Fancyyj的博客
08-12 951
文章目录一. 决策树1. 定义2. 决策树的生成3. 损失函数4. **决策树的纯度****5. 决策树的分割方式—— 非线性****6. 剪枝**7. one-hot**7. 单棵决策树缺点****8. 代码实现决策树**二. 随机森林1. 定义2. 随机森林运行机制3. 随机森林的中心思想 —— 并行思想4. 随机森林与逻辑回归5. 代码实现随机森林 一. 决策树 1. 定义 逻辑回归是一种线...
机器学习实战（Python3）：kNN、决策树、贝叶斯、逻辑回归、SVM、线性回归、树回归.zip
08-25
svm支持向量机python代码 机器学习实战（Python3）：kNN、决策树、贝叶斯、逻辑回归、SVM、线性回归、树回归.zip
备战数学建模43-决策树&随机森林&Logistic模型(攻坚站7)
nuist_NJUPT的博客
09-10 5270
决策树就是从根节点到叶子节点一步步做决策的模型，最终所有的决策都会落在叶子节点，这样该模型既可以做分类，也可以做回归。决策树有严格的先后顺序，每次决策类型的顺序不能发生改变，在前面的节点的重要性要比在后面的节点的重要性要高，决策树的组成如下：从根节点到叶子节点，最终的决策在叶子节点。决策树的训练：根据数据构造决策树，测试：有了决策树后从上到下走一遍。
决策树与随机森林
weixin_71367823的博客
12-16 1514
决策树与随机森林哪个更好，为什么？
机器学习方法（一）（决策树，随机森林，线性回归，神经网络，模型评估，集成学习）概述
weixin_48878618的博客
07-18 2074
一颗树，第二次采样结果为[ 1 1 2 2 3],以此结果。么你的训练成本，相对一颗决策树，就是10倍，每棵树取个平均值，缺点是，比如有十颗树，那。训练第二课树，同理操作，最终训练出十颗树，组成一个随机森林，具体来说，就是在总样本不。变的前提下，随机抽取不同的样本（有些样本会。被重复抽到），来训练不同的树，在实现随机的。同时，又保证所训练的树都是本土的，避免了外。的树认为结果是1，就输出1，对于。实现（随机森林）：比方说有[1 2 3 4 5]个数据样本，随机采样，假。（升级）：训练多个决策树，对于。
哪个才是解决回归问题的最佳算法？线性回归、神经网络还是随机森林？
热门推荐
AI科技大本营
03-08 1万+
编译 | AI科技大本营参与|王珂凝编辑|明 明【AI科技大本营导读】现在，不管想解决什么类型的机器学习（ML）问题，都会有各种不同的算法可以供你选择。尽管在一定程度上，一种算法并不能总是优于另外一种算法，但是可以将每种算法的一些特性作为快速选择最佳算法和调整超参数的准则。本文，我们将展示几个著名的用于解决回归问题的机器学习算法，并根据它们的优缺点设定何时使用这一准则。尤其在为回归问题选择
机器学习面试干货精讲
技术杂谈
01-04 2942
本文来自作者 de,light 在 GitChat 上分享 「机器学习面试干货精讲」，「阅读原文」查看交流实录。「文末高能」编辑 | 哈比序言本文尽可能的不涉及到繁杂的数学公式，把面试中常问的模型核心点，用比较通俗易懂但又不是专业性的语言进行描述。希望可以帮助大家在找工作时提纲挈领的复习最核心的内容，或是在准备的过程中抓住每个模型的重点。实战环境说明：Python 2.7；Sklearn 0.19
对机器学习各个经典算法的总结：KNN、高斯贝叶斯、随机森林、梯度增强、SVM支持向量机、Adaboost、逻辑回归算法
qq_45756171的博客
05-02 1327
（1）K近邻分类器算法（K Neighbor）: 存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据 与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的 特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们 只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处,通常来说K是不大于20的整数。 最后 ，选择K个最相似数据中出现次数最多的分类，作为新数据的分类。 （2）高斯朴素贝叶斯分
逻辑回归、支持向量机、决策树之间的区别
05-24
逻辑回归、支持向量机(SVM)和决策树是机器学习中常用的分类算法，它们的主要区别如下： 1. 模型类型：逻辑回归是基于概率模型的分类算法，SVM 是基于距离的分类算法，而决策树是基于树形结构的分类算法。 2. 线性/非线性：逻辑回归和SVM是线性分类算法，适用于线性可分的数据；而决策树可以处理非线性分类问题。 3. 特征选择：逻辑回归和SVM需要手动选择特征，而决策树可以自动进行特征选择。 4. 可解释性：决策树模型易于解释和理解，而逻辑回归和SVM的决策边界比较难以解释。 5. 鲁棒性：SVM对噪声和异常点比较鲁棒，而逻辑回归和决策树对数据噪声和异常点比较敏感。 选择哪种算法取决于具体的问题和数据集，需要综合考虑算法的特点和优缺点。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Nefelibat

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值