主要分享大数据相关的知识，如Spark、Hudi

前言如题，记录在Spark ML LR中如何解决数据不平衡。参考：Dealing with unbalanced datasets in Spark MLlib1、数据不平衡指label == 1和label == 0 的数据比例的很多，如80%和20%，这样导致模型的结果的准确率也不平衡，不准确。2、setWeightCol 主要代码val labelCol = "label"de...

本文是讲如何使用spark ml进行线性回归，不涉及线性回归的原理。

前言最近在学习总结机器学习常用算法，在看spark机器学习决策树的官方示例时，发现用到了几个特征处理的类，之前没学习过，所以查了一下，感觉spark在特征处理方面的类还是挺多的，所以准备总结记录一下相关的用法，首先总结一下决策树中用到的几种。1、VectorIndexer根据源码注释，VectorIndexer是用于在“向量”的数据集中索引分类特征列的类（Class for ind...