spark
「已注销」
WEB研发工程师,运维|开发工程师,Python工程师,发展方向为数据挖掘分析、大数据。羽毛球、乒乓球、桌球业余爱好者,Guitar爱好者。
展开
-
spark2.3.1执行Spark SQL操作Parquet数据源错误解决(UnsatisfiedLinkError:uncompressedLength(Ljava/nio/ByteBuffer)
scala> namesDF.foreach(attributes =>println("Name: " + attributes(0)+" favorite color:"+attributes(1)))[Stage 1:> (0 + 1) / 1]2018-0...原创 2018-08-14 14:08:28 · 1840 阅读 · 0 评论 -
spark 2.3.1集群搭建(Master,Slave,Slave)
基础配置同上篇博客配置教程请先参阅:厦门大学数据库实验室系列博客 Spark 2.0分布式集群环境搭建需要注意的配置有两个cd /usr/local/spark/cp ./conf/slaves.template ./conf/slaves#slaves文件设置Worker节点。编辑slaves内容,把默认内容localhost替换成如下内容:slave1slave2...原创 2018-08-10 23:51:37 · 4307 阅读 · 0 评论 -
Spark Machine Learning Error analysis and solution(Error with RDD[Vector];Vector takes type paramet)
While we follow spark example case class model_instance (features: Vector)//andval df = rawData.map(line => | { model_instance( Vectors.dense(line.split(",").filter(p => p.matches("\...原创 2018-08-20 19:32:33 · 1169 阅读 · 0 评论