Ubuntu16.04安装hadoop(伪分布模式)

主要参考的文章为:

https://blog.csdn.net/wangjia55/article/details/53160679

https://www.cnblogs.com/87hbteo/p/7606012.html

安装版本:

       Hadoop 3.0.3 64bit

       java jdk:1.8.0_171

 分为以下几个步骤:

1、准备阶段: 增加用户Hadoop,并配置SSH免密码登录

2、安装JDK环境

1,2主要参考的为上述第二个链接,很详细,注意java环境变量的写入,之后要用source生效)

本人将java安装在/usr/local/下面

3、安装Hadoop,并进行配置

从官网下载安装包,目前已经到3.x的版本了,解压到/usr/local下面并配置环境变量 ,参见上述第二个链接

4、伪分布式模式设置

Hadoop默认为单机模式,改为伪分布式模式就是改hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,这几个文件,官网有说明,参考的第一个链接也写的很清楚。

配置完成后,首先将目录打开至/usr/local/hadoop,而后执行NameNode的格式化

./bin/hdfs namenode -format

而后

./sbin/start-dfs.sh

则可以启动,若出现

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform

可以参照https://blog.csdn.net/young_kim1/article/details/50324345

https://www.cnblogs.com/likui360/p/6558749.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值