单机搭建spark环境

原创 2016年06月01日 09:41:31

spark的环境搭建比较容易,但是为了巩固记忆,我还是把她写下来;

首先,要下载资源,Apache官网可以下载;

%我是在我的Mac上装的,据说windows装起来很费劲%


2,将spark文件包,放到自己的指定工作目录;

3,将终端change到工作目录,

键入 command:./sbin/start-master.sh

4,浏览器 输入:localhost:8080

5,创建工作节点,命令为:

./bin/spark-class org.apache.spark.deploy.worker.Worker  spark://......

spark 后加的内容为localhost界面的URL;注意REST URL不等于URL


以上工作节点创建完成,刷新localhost界面可以发现 WorkerID;


_________________________________________________________________________________________________________________________

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

mac 单机 搭建 eclipse spark开发环境

在 mac初步搭建eclipse开发spark 程序环境,并以wordcount为例,分别使用scala和java语言进行开发 软件准备: 1.Eclipse IDE for Java EE Deve...

Spark1.2.0单机环境搭建

1、准备好两个文件scala-2.11.4.tgzspark-1.2.0-bin-hadoop1.tgz spark下载地址:wget http://d3kbcqa49mib13.cloudfron...

spark windows java 单机搭建环境并且读取文本中字母数量

Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,...

【Windows】【Scala + Spark】【Eclipse】单机开发环境搭建 - 及示例程序

Java7 –系统变量 JAVA_HOME -> C:\ProgramFiles\Java\jdk1.7.0_71 CLASSPATH ->%JAVA_HOME%\lib\dt.jar;%JAVA_H...

Ubuntu 16.04 Spark单机环境搭建

说道大数据和机器学习,就少不了Spark.本文主要介绍在Linux下搭建单机环境的Spark的步骤。安装Java SE1、下载JAVA SE linux版本。下载地址为: http://www.or...

Windows10 Spark单机开发环境的搭建(Python)

之前一直是在单机写Spark程序,写完拿到服务器上运行,但是本地调试程序很不方便。本文旨在Window环境下搭建简单的Spark程序开发端,方便开发,可以在本地写代码的时候调试。

Mac OS X下Hadoop、Spark单机版环境搭建

环境搭建 Mac下搭建Hadoop、spark相对比较简单,spark依赖Hadoop的HDFS和YARN计算框架,所以要想搭建Spark,先要搭建好Hadoop环境。

Windows下Spark python 单机开发环境

Spark提供的pyspark可以像scala shell一样提供交互式的开发,本文介绍在windows下单机环境下的pyspark配置,当然数据量小,任务简单,条件有限的可以在单机上这样做示例,数据...

mac系统里spark单机环境的安装和配置

1.安装环境                系统:Linux系统平台(Windows上需要安装Cygwin,以模拟Linux环境)          ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)