1.ml中提供的评估器(Estimator)的输入输出均有预设的列名,如默认的Y值列名是“label”。若需更改,在定义评估器时使用.setLabelCol(“target”)。类似的,预测输出时使用setPredicionCol(“”)修改。
2.可以使用explainParams来查看可用参数,默认值和简要文档。
new LogisticRegression().explainParams
参数说明:
该部分来自于如下链接:
https://blog.csdn.net/weixin_40161254/article/details/103583646
elasticNetParam:ElasticNet 是一种同时使用L1和L2先验作为正则化矩阵的线性回归模型
aggregationDepth:Spark迭代计算过程中才用treeAggregate的方式来reduce各个分区数据,这里的参数可以用来调整treeAggregate的层次深度,层次越深reduce时用到的执行节点更多,能并行的数据量就越多。(>=2的整数,默认值2)
fitIntercept=True: 是否使用带截距的回归
3.spark OneHotEncoder 输出的含义
OneHotEncoder 把不同的数值转变成稀疏向量。稀疏向量的表示法:(3,[0,2],[1.0,3.0]) 其表示的含义(向量大小,序号,值) 序号从0开始 => (1.0,0.0,3.0)。 (3,[0],[1.0]) => (1.0,0.0,0.0)。