weixin_43404939的博客

原创 spark scala在计算特征向量欧氏距离中的一些问题

spark.sql 获取hive中存储好的特征表格，toDF为该dataFrame增加对应列名，使用VectorAssembler()将相关特征取出集成为输出dataFrame：output（其中新增一列类型为vector的特征向量），定义标准化的对象scaler（如MinMaxScaler()），该对象的ft方法获取output中的标准化参数对象scalerModel，利用scalerModel的transform方法处理output获得scaledData，即标准化特征向量。