spark
qq_39511410
这个作者很懒,什么都没留下…
展开
-
关于spark的vectors在ml和mllib中转化的办法
遇到恶心的问题,这两个类下的vectors不能隐饰转换。参考https://stackoverflow.com/questions/40109807/classcastexception-org-apache-spark-ml-linalg-densevector-cannot-be-cast-to-orgval denseVector = r.getAs[org.apache.spark.ml....原创 2018-03-09 16:29:57 · 6886 阅读 · 0 评论 -
操作辣鸡Linux的一连串指令
先创建.sh文件,例如:zip -d xxx.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF nohup spark-submit --driver-memory 8G --class the_class xxx.jar >> /home/spark/logs/xxx.log 2>&1 & 然后,运行这个.sh文件s...原创 2018-03-26 17:28:55 · 255 阅读 · 0 评论 -
关于在Spark中的DataFrame,字段为Array类型,getas出错的问题
打开getas的源码,找到下面一段/** * Returns the value at position i of array type as a Scala Seq. * * @throws ClassCastException when data type does not match. */ def getSeq[T](i: Int): Seq[T] = getA...原创 2018-06-19 16:34:03 · 5102 阅读 · 2 评论