hadoop的几种搭建搭建（无图）

创建用户

useradd -u 1000 hadoop

id hadoop

将下载的两个软件包放到hadoop用户的家目录下

在家目录下解压文件

建立软连接

修改环境变量

source .bash_profile使环境变量生效

jps

将/hadoop/etc/hadoop/hadoop-env.sh修改

添加java路径

在hadoop文件夹下

mkdir input

cp etc/hadoop/*.xml input

 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar grep input output 'dfs[a-z.]+'

查看输出

搭建hadoop伪操作系统

首先对创建的hadoop用户创建密码

对自己的主机进行免密操作尽量用ip

在hadoop文件下修改workers

将其换成主机ip

修改hdfs

修改core

bin/hdfs namenode -format

sbin/start-dfs.sh

jps

ps ax

浏览器访问ip：9870

bin/hdfs dfsadmin -report

创建文件对文件进行一部分骚操作

 

分布式文件存储

三个节点

yum install -y nfs-utils

systemctl start rpcbind

在master节点

vim /etc/exports

/home/hadoop    *(rw,no_root_squash)

systemctl start nfs

两个子节点

showmount -e 172.25.30.7

创建hadoop用户

useradd -u 1000 hadoop

将主节点共享的文件夹挂载

mount 172.25.30.7:/home/hadoop/ /home/hadoop

df

ll -d /home/hadoop 查看权限

在主节点hadoop下关闭

sbin/stop-dfs.sh

修改/hadoop/etc/hadoop下的workers

将其改为两个子节点

ssh两个子节点分别用ip和hostname

三台主机互相免密

修改hdfs

将1改为2

/sbin/start-dfs.sh

使用hadoop用户jps

两个DATANODE分别在两个子节点上

关闭安全模式

bin/hdfs dfsadmin -safemode leave

bin/hdfs dfs -put LI

可以看到两份

节点的热添加（在线添加）

重新开启另一台虚拟机

创建hadoop用户

useradd -u 1000 hadoop

yum install -y nfs-utils

systemctl start rpcbind

挂载

mount 172.25.30.7:/home/hadoop /home/hadoop

修改workers

将172.25.30.10添加

bin/hdfs --daemon start datanode

jps

在浏览器查看节点