大数据
文章平均质量分 79
会拉小提琴的左脚
这个作者很懒,什么都没留下…
展开
-
Spark启动时的master参数以及Spark的部署方式
我们在初始化SparkConf时,或者提交Spark任务时,都会有master参数需要设置,如下:conf = SparkConf().setAppName(appName).setMaster(master)sc = SparkContext(conf=conf)/bin/spark-submit \ --cluster cluster_name \ --ma...转载 2018-06-04 13:54:01 · 20369 阅读 · 1 评论 -
常用spark命令
--sparklocalhost$spark-sql --master yarn 启动主节点 yarn模式hdfs dfs -ls /spark/tianwei2.db 查看我们建的表 其实是是建立在hdfs里面hdfs dfs -du -h /spark/tianwei2.db 查看我们的文件大小 也就是我们的表的大小 要接近 -h...原创 2018-05-29 15:28:44 · 4330 阅读 · 0 评论 -
hdfs dfs 命令详解
hdfs dfs命令appendToFileUsage: hdfs dfs -appendToFile <localsrc> ... <dst>追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入.· hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile· hdfs dfs -appendToFile ...原创 2018-05-29 17:28:24 · 25127 阅读 · 2 评论