spark-submit.sh spark-shell.sh spark-sql.sh thrift

为什么80%的码农都做不了架构师？>>>   

spark-submit.sh

提交spark任务

spark-shell.sh

spark的交互命令窗口，底层其实还是使用spark-submit.sh提交了一个任务，但是driver programing可以和外界交互。spark-shell中已经实例化了sc(SparkContext)，同时使用sc实例化了一个sqlContext，是HiveContext的对象，可以hive交互，可以直接用sqlContext。如果要使用sql语言，则需要sqlContext.sql("aaa")。aaa就是sql语句了。

spark-sql.sh

可以直接在命令行里敲sql语句，可以和hive交互。

sbin/start-thriftserver.sh

打开thrift服务，这个服务和hiveserver2服务是类似的，只不过是spark的thrift，如果hive的hiveserver2服务打开了，会占用10000端口，那么spark的thrift服务就会提示端口被占用，具体thrift服务是如何使用的，参考之前的博客：jdbc连接hive查询

转载于:https://my.oschina.net/cjun/blog/657184