- 博客(2)
- 收藏
- 关注
RSS订阅原创 Spark实战（6）_spark-sql -e -f -i命令的整合和spark-sql日常作业开发流程总结
背景介绍 在日常工作中，我们可以在一个shell脚本里面利用spark-sql -e执行sql脚本，而且可以传参数，但是存在一个问题，shell脚本对格式要求严格，而且shell脚本和spark-sql的脚本混在一起，内容庞大凌乱，不好管理。而spark-sql -f可以执行一个hql文件，但是不能传参数进去，这就引出了一个问题，有没有一种方法，既可以把shell和hql脚本分开，shell负责调...
2018-05-24 21:47:58
15546
3
原创 Spark实战（5）_Spark Core核心编程
Spark版本 cdh5.9.0集成的spark的版本1.6.0，集成的hadoop版本2.6.0。查看的网址：http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.9.0/如果用cdh5.9.0 parcels离线安装自带的spark(on yarn)，启动时提示缺少包，需要修改spark-env.sh的配置SPARK_DIST_CLASS...
2018-05-10 18:25:39
1861
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人