spark
文章平均质量分 77
会拉小提琴的左脚
这个作者很懒,什么都没留下…
展开
-
Spark启动时的master参数以及Spark的部署方式
我们在初始化SparkConf时,或者提交Spark任务时,都会有master参数需要设置,如下:conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) /bin/spark-submit \ --cluster cluster_name \ --ma...转载 2018-06-04 13:54:01 · 20392 阅读 · 1 评论 -
常用spark命令
--sparklocalhost$spark-sql --master yarn 启动主节点 yarn模式hdfs dfs -ls /spark/tianwei2.db 查看我们建的表 其实是是建立在hdfs里面hdfs dfs -du -h /spark/tianwei2.db 查看我们的文件大小 也就是我们的表的大小 要接近 -h...原创 2018-05-29 15:28:44 · 4350 阅读 · 0 评论