spark kmeans java_pyspark:kmeans的分类变量准备

我知道Kmeans不适用于分类数据,但我们在spark 1.4中没有太多选项可用于聚类分类数据 . 无论上述问题如何 . 我在下面的代码中遇到错误 . 我从hive读取我的表,在管道中使用onehotencoder,然后将代码发送到Kmeans .

我在运行此代码时遇到错误 . 错误是否可以输入Kmeans的数据类型? doen是否期待numpay Array数据?如果是这样我如何将索引数据传输到numpy数组!?!?所有评论都得到了批准,感谢您的帮助!

我得到的错误:Traceback(最近一次调用最后一次):文件“/usr/hdp/2.3.2.0-2950/spark/python/lib/pyspark.zip/pyspark /daemon.py”,第157行,在manager文件中“/usr/hdp/2.3.2.0-2950/spark/python/lib/pyspark.zip/pyspark/daemon.py”,第61行,在工作文件“/usr/hdp/2.3.2.0-2950/spark/python /lib/pyspark.zip/pyspark/worker.py“,第136行,在main中如果read_int(infile)== SpecialLengths.END_OF_STREAM:文件”/usr/hdp/2.3.2.0-2950/spark/python/lib/pyspark .zip / pyspark / serializers.py“,第544行,在read_int中引发EOFError EOFError文件”“,第1行Traceback(最近一次调用最后一次):

我的代码:

#aline will be passed in f

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值