spark特征工程
test-abc
这个作者很懒,什么都没留下…
展开
-
spark ml特征工程之主成分分析(pca)
简介主成分分析(PCA)是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。spark ML特体相应的AP进行处理。实战1.spark工程的pom文件引用 <properties> <project.build.sourceEncoding>UTF-8</project.bui...原创 2019-04-12 15:30:19 · 1117 阅读 · 0 评论 -
spark ML特征工程离散余弦变换(dct)
简介离散余弦变换(Discrete Cosine Transform)是将时域的N维实数序列转换成频域的N维实数序列的过程(有点类似离散傅里叶变换)。(ML中的)DCT类提供了离散余弦变换DCT-II的功能,将离散余弦变换后结果乘以12√12得到一个与时域矩阵长度一致的矩阵。输入序列与输出之间是一一对应的。实战1.spark工程的pom文件引用 <propertie...原创 2019-04-17 18:17:59 · 715 阅读 · 0 评论 -
spark XGBoost算法demo
1.运行环境配置 该算法需要运行Linux环境下,运行的版本为:spark2.4.0,scala 2.112.maven配置 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <proj...原创 2019-09-03 15:19:42 · 950 阅读 · 2 评论