spark
文章平均质量分 74
每天进步一点点2017
这个作者很懒,什么都没留下…
展开
-
spark读取HDFS文件java.net.ConnectException: Connection refused异常解决方法
问题:java.net.ConnectException: Call From Master/xxx.xxx.x.xxx to user:8020 failed on connection exception: java.net.ConnectException: Connection refusedscala> disfile.collect().foreach(println) java...原创 2018-05-19 15:13:47 · 10623 阅读 · 0 评论 -
Spark配置
配置spark系统有如下3中方法:①spark属性:控制大多数应用程序参数,为每个应用程序设置不同的参数,通过使用SparkConf对象或者java系统属性②环境变量:通过设置每个节点的conf/spark-env.sh文件满足每台机器的不同设置。③日志:配置log4j.properties例子:通过sparkconf设置应用程序的名称和线程数方法一:在程序代码中写死sparkConf属性val ...翻译 2018-05-21 23:29:30 · 1155 阅读 · 0 评论