1、使用SparkContex.makeRDD , 生成一个 RDD[BasicBSONObject] 的 RDD
因为 makeRDD 的函数参数是一个数组,所以先生成一个数组
val bson = new BasicBSONObject
bson.put("name",spark)
bson.put("value",123)
val array = Array(bson)
val rdd = sc.makeRDD(array)
2、在 web ui里看不到正在运行的程序
要么是在控制台里提交的是local命令,要么是在写程序生成 SparkContext设置成local了,比如 sc = new SparkContext("local")
3、spark启动时,worker节点日志出现,
ERROR NettyTransport: failed to bind to bt-199-037.bta.net.cn/202.106.199.37:0, shutting down Netty transport
修改spark-env.sh 从节点的woker ip不要设置成主节点的ip,可以直接删掉不设置
查看hosts文件,hostname与ip是否对应
4、
java.lang.NumberFormatException: multiple points
问题:
多线程方法中使用了共享变量SimpleDateFormat,报如下错误:
java.lang.NumberFormatException: multiple points
at sun.misc.FloatingDecimal.readJavaFormatString(FloatingDecimal.java:1084
原因:
SimpleDateFormat是线程不安全的,切忌切忌!