2.4回归（regression）

最新推荐文章于 2022-03-12 09:06:26 发布
VIP文章 最新推荐文章于 2022-03-12 09:06:26 发布
阅读量857 收藏 1
点赞数 1
分类专栏： Spark 文章标签： Spark MLlib 机器学习算法 回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fortuna_i/article/details/87298199
版权

2.4 回归（regression）

2.4.1 @生存分析（AFT Survival Regression）

在Spark.ml中，实现了加速失效时间（AFT(Accelerate Failure Time)）模型，这是一个用于检查数据的参数生存回归模型。它描述了生存时间对数的模型，因此它通常被称为生存分析的对数线性模型。不同于为相同目的设计的比例风险模型，AFT模型更容易并行化，因为买个实例独立地贡献于目标函数。

模型规范（Wikipedia）：

在通用性方面，加速失效时间模型可以指定为：

其中θ表示协变量的联合效应，通常。(用负号指定回归系数，意味着高的协变量值增加了生存时间，但这只是一个符号标记;如果没有负号，就会增加风险。

这满足了如果概率密度函数是

最低0.47元/天 解锁文章
Fortuna_i
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch专题实战——线性回归(Linear Regression)
12-21
计算流程2.Pytorch搭建线性回归模型2.1.导入必要模块2.2.构造训练数据2.3.测试数据及输入输出神经元个数2.4.搭建模型并实例化2.5.训练 1.计算流程 1)设计模型： Design model (input, output, forward pass with ...
Spark学习之机器学习包ML
weixin_43648821的博客
05-24 785
Spark的ML软件包，其操作是基于DataFrame的。ML包括转换器(Transformer)、评估器(Estimator)、管道(Pipeline)。 1、 转换器----Transformer 通常是将一个新列附加到DataFrame来转换数据。从高层次上看，当从转换器的抽象类派生时，每个新的转换器需要实现.transform()方法。该方法要求传递一个要被转换的DataFrame，该参数通常是第一个也是唯一的一个强制性参数。其他参数有inputCol、outputCol，inputCol的参数默认
PySpark入门十九：ML评估器之回归与聚类
默默经营自己的小世界
09-13 411
回归 ML中可用于回归的有七种模型： AFTSurvivalRegression：适合加速失效时间回归模型。是一个参数化模型，假设其中一个特征的边际效应加速或减缓了预期寿命。适用于具有明确阶段的过程。 DecisionTreeRegressor：类似于分类模型，明显不同的是其标签是连续的而不是多项的。 GBTRegressor： 与 DecisionTreeRegressor 一样，区别在于标签的数据类型。 GeneralizedLinearRegression: 广义线性回归是具有不同内核功能的线性模型
Pyspark回归--AFTSurvivalRegression
weixin_46408961的博客
03-12 338
AFTSurvivalRegression class pyspark.ml.regression.AFTSurvivalRegression(featuresCol=‘features’, labelCol=‘label’, predictionCol=‘prediction’, fitIntercept=True, maxIter=100, tol=1e-06, censorCol=‘censor’, quantileProbabilities=[0.01, 0.05, 0.1, 0.25, 0.5,
Spark2 生存分析Survival regression
meng_shangjy的博客
04-02 1067
　　在spark.ml中，实现了加速失效时间（AFT）模型，这是一个用于检查数据的参数生存回归模型。 它描述了生存时间对数的模型，因此它通常被称为生存分析的对数线性模型。 不同于为相同目的设计的比例风险模型，AFT模型更容易并行化，因为每个实例独立地贡献于目标函数。　　当在具有常量非零列的数据集上匹配AFTSurvivalRegressionModel而没有截距时，Spark MLlib为常量非零...
Spark2.x AFTSurvivalRegression算法
meng_shangjy的博客
04-03 1311
Spark2.0的机器学习算法比之前的改变最大的是2.0基本采用了dataframe来实现的，但之前的都是用的RDD，看官网说貌似在3.0的时候RDD就不用了！还有一个就是hiveContext和sqlContext进行了合并，统一是sessioncontext。在spark.ml中，实现了加速失效时间（AFT）模型，这是一个用于检查数据的参数生存回归模型。 它描述了生存时间对数的模型，因此它通常...
生存回归(加速失效时间模型)算法原理及Spark MLlib调用实例(Scala/Java/python)
liulingyuan6的博客
12-05 1万+
生存回归（加速失效时间模型） 算法介绍：         在spark.ml中，我们实施加速失效时间模型（Acceleratedfailure time），对于截尾数据它是一个参数化生存回归的模型。它描述了一个有对数生存时间的模型，所以它也常被称为生存分析的对数线性模型。与比例危险模型不同，因AFT模型中每个实例对目标函数的贡献是独立的，其更容易并行化。          给定协变量
基于Logistic Regression的分类器设计1
08-03
2.1 提出假设函数 2.2 极大似然估计 2.3 损失函数与代价函数 2.4 正则化 2.5 目标函数 3.1 Sigmoid 函数的良好性质 3.2 梯度求
Keras——用Keras搭建线性回归神经网络
12-21
神经网络可以用来模拟回归问题 (regression)，例如给一组数据，用一条线来对数据进行拟合，并可以预测新输入 x 的输出值。 2.用Keras搭建线性回归神经网络 2.1.导入必要模块 import numpy as np from keras.models ...
【机器学习笔记】第2章：单变量线性回归
01-07
文章目录第2章：单变量线性回归2.1 模型描述 Model representation2.2 代价函数 Cost function2.3 梯度下降 Gradient descent2.4 线性回归的梯度下降 Gradient descent for linear regression 第2章：单变量线性回归...
机器学习入门
02-18
* Implement the L1 and L2 loss functions2使用神经网络心态进行Logistic回归2.1包装2.2问题集概述2.3学习算法的一般架构2.4构建我们算法的各个部分 * Initializing parameters * Forward and Backwar
spark2.0 AFTSurvivalRegression算法
跋跋寒的博客
06-04 3257
spark2.0的机器学习算法比之前的改变最大的是2.0基本采用了dataframe来实现的，但事前的都是用的RDD，看官网说貌似在3.0的时候RDD就不用了，不知道真的假的。 还有一个就是hiveContext和sqlcontext进行了合并，统一是sessioncontext val spark = SparkSession .builder .appName("AFTSurv
数据挖掘-目录-回归分析（regression）
program哲学
03-23 825
AFTSurvivalRegressionDecisionTreeRegressorGBTRegressorIsotonicRegressionLinearRegressionRandomForestRegressorGeneralizedLinearAlgorithmGLMRegressionModelIsotonicRegressionLabeledPointLassoLinearRegress
【生存分析】参数模型 - 加速失效（AFT）模型
Step by step
09-28 2万+
加速失效（AFT）模型 假设 TTT 为失效时间，xxx 为协变量，加速失效（accelerate failure time）模型的假设是，一个人的生存时间等于人群基准生存时间 * 这个人的加速因子，其数学形式如下： T=t∗eθ⋅x, t=eμ+σ∗WT=t * e^{\theta \cdot x},\ t=e^{\mu + \sigma*W}T=t∗eθ⋅x, t=eμ+σ...
pyspark 生存回归
luoganttcc的博客
06-08 486
from pyspark.ml.regression import AFTSurvivalRegression from pyspark.ml.linalg import Vectors from pyspark.sql import SparkSession spark= SparkSession\ .builder \ .a...
【Spark】分类和回归算法-回归
buracag_mc的博客
09-04 1066
同步于Buracag的博客 本节主要讲Spark ML中关于回归算法的实现。示例的算法Demo包含：线性回归、广义线性回归、决策树回归、随机森林回归、梯度提升树回归等。 文章目录1. 线性回归(Linear regression)2. 广义线性回归(Generalized linear regression)3. 决策树回归(Decision tree regression)4. 随机森林回归(R...
spark大数据的学习
sinat_26566137的博客
09-17 444
（1）spark.rdd的处理 https://spark.apache.org/examples.html spark.sql非常精辟： https://github.com/apache/spark/blob/master/examples/src/main/python/sql/basic.py An example demonstrating aft survival regr...
Spark32个常用算子总结
热门推荐
Fortuna_i的博客
08-09 4万+
官方文档上列举共有32种常见算子，包括Transformation的20种操作和Action的12种操作。 （注：以下截图为windows下运行结果） Transformation： 1.map map的输入变换函数应用于RDD中所有元素，而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。如parallelize（1 to 10， 3），ma...
pytorch 线性回归
最新发布
03-29
在PyTorch中，线性回归是最基本的机器学习模型之一，以下是PyTorch实现线性回归的示例代码。 首先，我们需要导入PyTorch库和一些必要的包： ``` python import torch import torch.nn as nn import numpy as np ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值