![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
Jtnarata
这个作者很懒,什么都没留下…
展开
-
Spark 部署
独立集群部署 修改 spark-env.sh export JAVA_HOME=/data/soft/jdk1.8 export SPARK_MASTER_HOST=master 修改 slaves salve1 slave2 启动集群 sbin/start-all.sh原创 2021-10-24 20:13:52 · 3157 阅读 · 0 评论 -
Hadoop 学习笔记:关于 Spark
Spark 是用于大数据处理的集群计算框架,没有以 MapReduce 作为执行引擎,而是使用了自己的分布式运行环境在集群上执行工作。 Spark 与 Hadoop 紧密集成,他可以在 YARN 上运行,并支持 Hadoop 文件格式及其存储后端(如 HDFS 等)。 Spark 将作业与作业之间产生的大规模的工作数据集存储在内存中,性能比 MapReduce 可高出一个数量级。 从 Spark ...原创 2019-02-14 14:50:16 · 211 阅读 · 0 评论