单机搭建spark环境

原创 2016年06月01日 09:41:31

spark的环境搭建比较容易,但是为了巩固记忆,我还是把她写下来;

首先,要下载资源,Apache官网可以下载;

%我是在我的Mac上装的,据说windows装起来很费劲%


2,将spark文件包,放到自己的指定工作目录;

3,将终端change到工作目录,

键入 command:./sbin/start-master.sh

4,浏览器 输入:localhost:8080

5,创建工作节点,命令为:

./bin/spark-class org.apache.spark.deploy.worker.Worker  spark://......

spark 后加的内容为localhost界面的URL;注意REST URL不等于URL


以上工作节点创建完成,刷新localhost界面可以发现 WorkerID;


_________________________________________________________________________________________________________________________

mac 单机 搭建 eclipse spark开发环境

在 mac初步搭建eclipse开发spark 程序环境,并以wordcount为例,分别使用scala和java语言进行开发 软件准备: 1.Eclipse IDE for Java EE Deve...

Ubuntu /Spark单机环境搭建

安装与配置因为机器学习平台的需要特意学习了有关spark的相关内容。这一小节主要是记录下在Ubuntu 14.04下搭建Spark单机环境的过程。这个过程主要有四个部分:安装Java 安装Scala ...

Ubuntu 16.04 Spark单机环境搭建

说道大数据和机器学习,就少不了Spark.本文主要介绍在Linux下搭建单机环境的Spark的步骤。安装Java SE1、下载JAVA SE linux版本。下载地址为: http://www.or...

【Windows】【Scala + Spark】【Eclipse】单机开发环境搭建 - 及示例程序

Java7 –系统变量 JAVA_HOME -> C:\ProgramFiles\Java\jdk1.7.0_71 CLASSPATH ->%JAVA_HOME%\lib\dt.jar;%JAVA_H...

Mac OS X下Hadoop、Spark单机版环境搭建

环境搭建 Mac下搭建Hadoop、spark相对比较简单,spark依赖Hadoop的HDFS和YARN计算框架,所以要想搭建Spark,先要搭建好Hadoop环境。...

在Win7虚拟机下搭建Hadoop2.5.2+Spark1.5.2单机环境

1. 软件准备 scala-2.10.4.tgz spark-1.5.2-bin-hadoop2.6.tgz 都可以从官网下载。 2. scala安装和配置 scala-...

Windows10 Spark单机开发环境的搭建(Python)

之前一直是在单机写Spark程序,写完拿到服务器上运行,但是本地调试程序很不方便。本文旨在Window环境下搭建简单的Spark程序开发端,方便开发,可以在本地写代码的时候调试。...

spark windows java 单机搭建环境并且读取文本中字母数量

Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,...

Spark1.2.0单机环境搭建

1、准备好两个文件scala-2.11.4.tgzspark-1.2.0-bin-hadoop1.tgz spark下载地址:wget http://d3kbcqa49mib13.cloudfron...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:单机搭建spark环境
举报原因:
原因补充:

(最多只允许输入30个字)