win8 x64 4核8G内存 搭建本地hadoop2.6.4集群

之前一直都是在已经搭建好的linux系统上的hadoop集群进行相关的大数据spark技能开发,但是并没有很深入的自己去搭建环境和了解一些细节(可能本人也比较懒惰哈^-^),于是在做一个spark集群处理产品线的小项目的时候,公司无法提供环境,于是在本地win8 上搭建了hadoop集群和spark集群(属于伪集群)进行相关功能开发实现。
于是将一个简单的搭建流程和出现的相关问题做了一次回顾和记录,供自己查阅和了解。网上的我也都看了一下,大部分都不是很适合小白来开始,我也是一个小白,就从小白的认知来开始吧。
首先介绍一下在安装之前本地系统已经安装了jdk8,当初安装直接默认安装路径:C:\Program Files\Java\jdk1.8.0_91。这样的安装给后面带来了一点点小困扰,不过没啥大的影响。
安装文件:
spark-1.6.0
jdk1.8
hadoop-2.6.4

安装步骤:
1.jdk配置。因为已经在系统中安装了jdk1.8,但是安装的路径中有空格存在,这个是不允许(后期会报错),但是又为了不影响原有的相关开发,就将原有的安装jdk完成后的目录拷贝一份直接放到C盘下,如:C:\Java\jdk1.8.0_91。

2.在官网上分别下载spark 和hadoop压缩包,解压缩到本地D盘(我自己的都是安装在D盘),分别配置 环境变量 spark_home 和hadoop_home,配置方式和jdk配置一样,不重复了。

3.其实到了这一步,配置正常的话,spark是已经可以用了,进入命令行,输入spark-shell,就能启动spark相关环境,因为懒得在本地做一些虚拟化服务

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值