spark
文章平均质量分 87
leveretz
多年潜水,回馈社会
展开
-
spark3.0.1安装
规划 cancer01 master/worker cancer02 worker cancer03 worker cancer04 worker cancer05 worker 准备 su hadoop 安装scala 每台机器上 cd /usr/local tar zxf scala-2.13.4.tgz mv scala-2.13.4 scala chown -R hadoop:hadoop scala vim /etc/profile export SCAL..原创 2021-02-20 00:17:17 · 119 阅读 · 0 评论 -
spark2.1集群安装
规划 cancer01 master/worker cancer02 worker cancer03 worker cancer04 worker cancer05 worker 准备 su hadoop 安装scala 每台机器上 cd /usr/local wget http://downloads.lightbend.com/scala/2.11.8/sca原创 2016-11-02 03:06:25 · 3447 阅读 · 0 评论 -
Spark研究综述
Spark 是UC Berkeley AMPLab于2009年发起的,然后被Apache软件基金会接管的类Hadoop MapRe鄄duce通用性并行计算框架,是当前大数据领域最活跃的开源项目之一。Spark是基于MapReduce计算框架实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是中间输出和结果可以保存在内存中,从而不再需要读写HDF原创 2016-11-23 11:47:41 · 2555 阅读 · 0 评论