spark ml

1.ml中提供的评估器(Estimator)的输入输出均有预设的列名,如默认的Y值列名是“label”。若需更改,在定义评估器时使用.setLabelCol(“target”)。类似的,预测输出时使用setPredicionCol(“”)修改。
2.可以使用explainParams来查看可用参数,默认值和简要文档。
new LogisticRegression().explainParams
在这里插入图片描述
参数说明:

该部分来自于如下链接:
https://blog.csdn.net/weixin_40161254/article/details/103583646

elasticNetParam:ElasticNet 是一种同时使用L1和L2先验作为正则化矩阵的线性回归模型
aggregationDepth:Spark迭代计算过程中才用treeAggregate的方式来reduce各个分区数据,这里的参数可以用来调整treeAggregate的层次深度,层次越深reduce时用到的执行节点更多,能并行的数据量就越多。(>=2的整数,默认值2)
fitIntercept=True: 是否使用带截距的回归

3.spark OneHotEncoder 输出的含义
OneHotEncoder 把不同的数值转变成稀疏向量。稀疏向量的表示法:(3,[0,2],[1.0,3.0]) 其表示的含义(向量大小,序号,值) 序号从0开始 => (1.0,0.0,3.0)。 (3,[0],[1.0]) => (1.0,0.0,0.0)。
在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值