- 博客(1)
- 资源 (1)
- 收藏
- 关注
原创 spark集群配置
1.配置java环境 2.配置SPARK_HOME环境, vi /etc/profile export PATH=$PATH:/opt/gradle/bin export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin 3.编辑spark-env.sh,添加: SPARK_MASTER_...
2018-11-29 13:36:41
174
Spark大数据处理:技术、应用与性能优化
Spark大数据处理:技术、应用与性能优化》根据最新技术版本,系统、全面、详细讲解Spark的各项功能使用、原理机制、技术细节、应用方法、性能优化,以及BDAS生态系统的相关技术。
作为一个基于内存计算的大数据并行计算框架,Spark不仅很好地解决了数据的实时处理问题,而且保证了高容错性和高可伸缩性。具体来讲,它有如下优势:
打造全栈多计算范式的高效数据流水线
轻量级快速处理
易于使用,支持多语言
与HDFS等存储层兼容
社区活跃度高
2018-10-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人