spark
一笑1874
这个作者很懒,什么都没留下…
展开
-
spark集群搭建
hadoop集群搭建好以后,spark的集群安装就比较简单了。只需要将spark压缩包解压并配置相应的环境变量就可以了。spark也可以看成是hadoop的一部分,他主要是用来取代Hadoop的MapReduce操作,依然依赖于Hadoop的分布式文件系统HDFS以及Hadoop的资源调度系统yarn。当然spark也可以基于其他的资源调度系统甚至是local模式。下面我们就来介绍spark的安装原创 2018-02-05 11:10:58 · 559 阅读 · 0 评论 -
eclipse或idea中开发spark程序本地运行以及提交集群运行
Windows开发hadoop/spark配置 1、将hadoop压缩文件解压到相应目录。像配置jdk环境变量一样配置HADOOP_HOME到hadoop目录。把%HADOOP_HOME%\bin加入path。 2、Windows下开发需要将共享的bin目录覆盖hadoop原有bin目录。如果还不行,将共享bin目录下的hadoop.dll复制到c:\windows\system32目录下,可原创 2018-01-10 09:25:00 · 3642 阅读 · 0 评论