Hadoop三种模式

本文详细介绍了如何逐步部署Hadoop,从本地模式到伪分布式,再到SSH远程登录配置,最后实现完全分布式集群。涵盖了环境配置、文件系统格式化、启动流程、常用命令及免密登录设置等关键步骤。
摘要由CSDN通过智能技术生成

本地模式(使用的Linux存储系统):

1、tar -zxvf hadoop-2.7.3.tar.gz -C /soft

2、cd /soft

3、ln -s hadoop-2.7.3 hadoop

4、sudo nano /etc/profile

5、在最后一行下边添加以下内容:

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6、source /etc/profile

7、测试:hadoop version

8、常用命令:

hdfs dfs -ls ====== 列出当前目录下的文件

hdfs dfs -mkdir ====== 新建文件夹

hdfs dfs -cat ====== 查看文件内容

hdfs dfs -touchz ====== 新建文件

hdfs dfs -rm ====== 删除文件

伪分布式(使用Hadoop系统,只用一个主机):

1、配置文件,使三种模式共存:

(1)cd /soft/hadoop/etc

(2)mv hadoop local

(3)cp -r local pseudo

(4)cp -r local full

(5)ln -s psesudo hadoop ====== 想使用哪种模式,"hadoop"符号链接指向哪种

2、修改配置文件:

(1)cd /soft/hadoop/etc/hadoop

(2)nano core-site.xml

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值