- 博客(2)
- 收藏
- 关注
RSS订阅原创 通过spark-shell脚本，剖析spark程序提交流程
vim打开spark-shell脚本可以看到下面这段脚本 spark-shell代码片段： 可以看到在spark-shell脚本中调用了spark-submit脚本，打开spark-submit脚本发现包含如下脚本： 可以看到在spark-submit脚本中，首先检查是否设置了SPARK_HOME,然后调用了spark-class，增加了参数SparkSubmit。 打开spark-class...
2018-11-27 12:42:18
1534
原创 Nifi 安装单机版与简单使用
nfifi简介 在Apache NiFi官网上，是这么介绍NiFi的：“一个易用、强大、可靠的数据处理与分发系统”。Apache NiFi的设计目标是自动化管理系统间的数据流。 NiFi之前是在美国国家安全局（NSA）开发和使用了8年的一个可视化、可定制的数据集成产品。2014年NSA将其贡献给了Apache开源社区，2015年7月成功成为Apache顶级项目。 nifi是一个基于web-u...
2018-02-28 23:23:35
4781
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人