因为项目的需要,将数据库中表的属性向量化,然后进行机器学习,所以去spark官网学习了一下OneHotEncoder,官网的相关介绍比较少,主要是针对单属性的处理,但是项目的要求是多属性的处理,网上找了很多的资料,研究了大半天终于将它集成到了自己的项目之中,下面分享一下自己的学习心得,说的不好的地方,还请各位大神多多指教。
介绍:将类别映射为二进制向量,其中至多一个值为1(其余为零),这种编码可供期望连续特征的算法使用,比如逻辑回归,这些分类的算法。
好处:1.解决分类器不好处理属性数据的问题(分类器往往默认数据是连续的,并且是有序的)
2.在一定程度上也起到了扩充特征的作用
原理:1.String字符串转换成索引IndexDouble
2.索引转化成SparseVector
总结:OneHotEncoder=String->IndexDouble->SparseVector
单属性的官网实现:
package com.iflytek.features
import org.apache.spark.ml.feature.{OneHotEncoder, StringIndexer}
import org.apache.spark.ml.feature.{IndexT
import org.apache.spark.ml.feature.{OneHotEncoder, StringIndexer}
import org.apache.spark.ml.feature.{IndexT