centos6.5安装配置spark

最新推荐文章于 2023-05-18 16:57:43 发布

jaysonhu

最新推荐文章于 2023-05-18 16:57:43 发布

阅读量6.4k

点赞数 1

分类专栏： spark开发文章标签： spark

本文链接：https://blog.csdn.net/jaysonhu/article/details/51777741

版权

该博客详细介绍了如何在CentOS 6.5上安装配置Spark，包括先安装Java和Hadoop，接着下载并解压Spark，设置环境变量，最后通过修改配置文件启动Spark的单机和伪分布式模式。

摘要由CSDN通过智能技术生成

安装java

下载jdk
解压 tar -zxvf jdk-8u91-linux-x64.tar.gz

设置JAVA_HOME：修改配置文件vi /etc/profile，最后一行添加以下代码

export JAVA_HOME=/usr/java/jdk1.8.0_91   
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
export PATH=$PATH:$JAVA_HOME/bin

命令：source /etc/profile 使文件立即生效
命令：java -version 检测是否安装成功

安装hadoop

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

jaysonhu

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

centos6.5安装spark2

littlely_ll的博客

06-25

899

centos安装好JAVA JDK，hadoop2.7，scala后，可以直接安装spark2了。安装spark还是比较简单的。首先是下载好spark(需要和Scala版本对应)，解压到一个目录中，然后在环境变量中添加spark的路径。另外，在spark路径下的conf文件下的spark-env.sh.template修改为spark-env.sh，并对其内容增加环境变量：export JRE_HO

在Docker中从头部署自己的Spark集群

weixin_30398227的博客

06-03

898

由于自己的电脑配置普普通通，在VM虚拟机中搭建的集群规模也就是6个节点左右，再多就会卡的不行碰巧接触了Docker这种轻量级的容器虚拟化技术，理论上在普通PC机上搭建的集群规模可以达到很高（具体能有多少个也没有实际测试过）于是就准备在Docker上搭建Spark集群由于是Docker新手，在操作过程中遇到了不少麻烦刚开始在网上找的资料都是直接从DockerHub...

参与评论您还未登录，请先登录后发表或查看评论

centos安装spark

k393393的博客

06-16

3088

前提使用的环境是centos7.2,已经安装了jdk 1.8 和hadoop2.7.1，三个服务器节点master，salve1，slave2 1、安装scala 1)下载scala 下载地址 https://www.scala-lang.org/download/ 我这里下载了scale 2.11版本上传压缩包到centos，然后解压 tar -zxvf scala-2.11.6.tgz ...

CentOS6.5安装Spark1.6环境（Master-Slave模式）

nooneyanghuijava的专栏

07-19

2674

CentOS6.5 x64安装Spark1.6环境（Master-Slave模式）

【编程语言】Spark 下载及安装教程 CentOS 7

莫小苝Blog

08-23

6794

一、Spark安装准备安装Spark之前应该先做如下准备工作： 1、将主机名与ip地址绑定 2、安装jdk 3、安装Hadoop 4、安装Scala 上述四项准备工作在之前博文中有详细的描述，在此不再赘述。点击上述四项中的某一项即可转入相应教程。二、Spark下载进入Apache下的Spark下载页面，找到如下图所示的界面位置，选择相应的版本进行下载下载成

CentOS6 安装配置 spark3.2.1

m0_56314572的博客

04-19

2384

CentOS6 安装配置 spark3.2.1详细讲解

Centos6.5.txt

03-12

1.搭建大数据平台用的centos 2.请测试管用，一直就用的这个； 3.一次安装就成功，特别好，哈哈哈哈。

Virtual Box 安装centOS6.5

菜鸟的博客

05-04

773

需要：win7电脑一台，Virtual Box 4.1，CentOS 6.5，SecureCRT，WinSCP 安装包会打包在一起在文末附上地址 CentOS6.5安装 1使用提供的CentOS 6.5镜像即可，CentOS-6.5-i386-minimal.iso。 2、创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为spark1，选择操作系统为...

CentOS6.5中安装Hadoop

菜鸟的博客

05-05

736

安装Hadoop包 1、使用课程提供的hadoop-2.4.1.tar.gz，使用WinSCP上传到CentOS的/usr/local目录下。 2、将hadoop包进行解压缩：tar -zxvf hadoop-2.4.1.tar.gz 3、对hadoop目录进行重命名：mv hadoop-2.4.1 hadoop 4、配置hadoop相关环境变量 vi ~/.bashrc expor...

centos下jdk+spark+scala安装

04-27

liunx下的spark环境搭建，其中包括安装jdk，测试jdk的安装，安装spark，测试spark安装环境，scala的安装，测试。

CentOS6.5 的 hadoop配置 +hive配置+mysql配置+spark配置+zeppelin配置+scala配置

我歌月徘徊，我舞影零乱

03-17

271

修改权限倒置系统崩溃，一定要注意不要乱改重头配置查了好久百度和文档，记录下来以防万一 hadoop环境搭载在 /home 路径下创建三个文件夹 mkdir toola software data 使用Xftp将下列文件都上传到 /home/tools 下执行解压命令在tools路径下： tar -zxf 压缩文件名-C /home/software 注意除了jdk...

Spark 入门之一：CentOS 6.5 下Spark 1.4 的安装以及配置

不积跬步，无以至千里；不积小流，无以成江海！

11-07

2588

机器配置集群全部使用VM虚拟机环境进行部署主机名角色配置 centos01 NameNode，JournalNode，Master，ResourceManager，QuorumPeerMain 2G，1核，20G centos02 Worker，NodeManager，DataNode，Q

Docker学习系列从零开始之centos6.5底下安装docker【一】

热门推荐

笨鸟不会飞

11-01

1万+

写在文章前正常我们开发的时候都是使用win7或者win10，虽然docker提供了在win7或者win10底下运行的安装程序，但是docker是为了生产环境使用的因此推荐的方式是在自己的电脑下安装一个VMware Workstation Pro 12（直接百度就可以找到该工具的下载地址），然后在上面加载一个centos6.5的镜像，首先本文章系列使用的操作系统就是centos6.

CentOS6安装大数据软件（八）：Spark集群安装和部署

yang_shibiao的博客

08-23

1396

安装spark环境

abc50319的专栏

11-12

650

一、安装spark包 1、将spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上传到/usr/local目录下。 2、解压缩spark包：tar zxvf spark-1.3.0-bin-hadoop2.4.tgz。 3、更改spark目录名：mv spark-1.3.0-bin-hadoop2.4 spark 4、设置spark环境变量 vi .bashrc ...

单机搭建基于Hadoop的Spark环境

Oh Captain, My Captain

12-12

1299

Spark是运行在yarn(也就是hadoop，一般特指资源管理器)上的应用，前面的一篇文章中已经搭好了yarn+hdfs，接下来的配置就很简单了。

centos6.5集群环境下Spark安装

绣花针

03-31

974

1：下载Spark对应版本，然后移动至master节点mark用户目录主目录下，并对其解压mv spark-1.4.0-bin-hadoop2.4.tgz /home/marktar –zvxf spark-1.4.0-bin-hadoop2.4.tgz2：配置Spark-env.sh进入spark-1.4.0-bin-hadoop2.4/conf,复制其中的spark-env.sh.templa...

Spark集群安装部署