笔记整理时间:2017年1月17日
笔记整理者:王小草
今日记事:
把头发高高盘起,画上一字眉。工作后就少了太多锐气,磨得圆滑尚且是好,但圆了就难免要缺失点笃定的方向,最怕滚来滚去,滚回起点。
而方向越笃定,心越沉下来,难免要变得好安静。
1. 二元转换Binarizer
Binarizer是将连续型变量根据某个阀值,转换成二元的分类变量。小于该阀值的转换为0,大于该阀值的转换为1.
如下:输入的是0.1,0.8,0.9连续型变量,目的是要以0.5为阀值来转换成二元变量(0,1)。
/**
* Created by cc on 17-1-17.
*/
object FeatureTransform01 {
def main(args: Array[String]) {
Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
val conf = new SparkConf().setAppName("FeatureTransform01").setMaster("local")
val sc = new SparkContext(conf)
val spark = SparkSession
.builder()
.appName("Feature Extraction")
.config("spark.some.config.opti