- 博客(3)
- 收藏
- 关注
原创 三种类型—异常检测
异常检测异常检测方法概述 异常检测方法概述 基于统计学(一维数据) 1.1sigma原则 1.2箱线图原则 无监督分类 2.1 孤立森林 :outlier detection: 训练集中有异常样本 2.2 LOF :局部异常因子算法,outlier detection 2.3 OneClassSVM :novelty detection, 训练集中没有异常样本 基于重构误差 3.1 PCA “Therefore, outlier scores can be obtained as the sum of t
2021-09-18 17:27:47 242
原创 Spark.ml 进行机器学习
Spark.ml 进行机器学习为什么使用spark.mlspark.ml基础spark.ml机器学习流程spark.ml实战代码 为什么使用spark.ml sklearn只能单机计算,适合小数据的方法验证 spark有集群模式,适合大型数据 spark.ml基础 数据格式:spark的DataFrame(与pandas的DataFrame区分) Transformer:是可以将一个DataFrame变换成另一个,用于数据前处理。 Estimator:是一个算法,对一个DataFrame进行Fit后得到Es
2021-07-26 09:52:10 839
原创 Spoon向Hive传输分片数据
Spark Python // An highlighted block var foo = 'bar'; imp
2021-07-21 11:16:40 269
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人