一.配置环境

redhat6.5

server1 172.25.29.1  hadoop master nfs

server2 172.25.29.2  nfs

server3 172.25.29.3  nfs

server4 172.25.29.4  nfs

server5 172.25.29.5  高可用备机 nfs

使用 nfs 共享同步配置文件


二.Hadoop单点配置

1.安装hadoop和jdk

280119253ea3e12c306a6a854659aaa3.png


使用hadoop用户运行

d303c71135a29dc7a37d52f1cd306498.png


2.配置hadoop在java上的运行环境

09cb7e59f71da918f0ca675ba9681079.png

0b94156e628756e63656273097461bb0.png


3.算法模块测试

934fbc3b4262f21d93c2ea67c8a09422.png

e1733804f89f021feda1af13881e0306.png

04554a45579067d5a7f8fe198c9231f0.png



output生成的数据

6c4a1166ed02002823b432e92d08dc4f.png


4.配置单点hadoop


4becdb2870a1b45b5c878fe899e1d5a9.png


22e84e812e3cec3c05f0be979cf720ee.png

b6866cd32e1440855e68018aebe3acf9.png


5.给hadoop设置用户密码，设置主机之间免密

5a7f6977929a309ae329703901d737ce.png

ffcb3d48474134ccdf7ae5a2e363c16f.png

70aa88bb18d7dd936c352c34a798ec0b.png

9173d41f3df113e892889af7e1cf8792.png


6.设置储存节点为1个

c92693474d205645ff228f6d24bde45a.png

b6f6ba6a24361333574c4c0196242cdb.png

7.格式化hdfs

397339421feeae3fbaf67d2ac4d92cf9.png


8.启动hadoop

3177fda9f90b47fa7c7ea35ec648b63d.png


9.设置查看进程的java的命令jps的运行路径

7e5814b639db1714e005547b66e4b286.png

a7eaf0a54f6d9db9ee4d2901d1e5a18b.png


10.查看节点运行状态，测试

58e593b128916f822a34898471aa143b.png

8733b89ce5acb113c08305890feedd2e.png

11.以文本模式查看结果

444cb31ce4d57b8c3dbb22090b9d3fe4.png


创建目录

7f8d5904bef19c68935225413c7d4849.png

5393b3699740093595f4d28ff8a010db.png

9b71aa069a02a04567f0fcfc7a56345a.png

cd10aee684cec903d514127a1370e6b3.png

948165d6ad89b8c3cd4a862809e2e33a.png


四.多节点hadoop配置

使用 nfs 共享同步配置文件

1.server1配置nfs服务

179092d9a5493c3d410a915ecc335cc4.png


eb5c5ea2b20b9b3f763543850434f5d8.png

6a662892bdc18b4e344ae475fa9efb00.png

93dcf30bb84be6c8c34e72a0040520f9.png


2.在server2至server5安装nfs，并新建hadoop用户，并启动rpcbind

ba8c8f816f8a406493fe2b1021762aed.png


104ba509f0e3897d0f9cbbb6c2e17b61.png

d2a7dd7dbad374ce8f16d101f10ad9b6.png


3.建立主机之间免密

8beee3f55d8ba18766279f4f626990bd.png

b38e699b90895dd0a7bf2a63d09fddea.png

b26aa6d60d9fb40813843504d7fbf5b8.png


4.hadoop集群配置

90d733014b90a7e3078a0cc395e4faa3.png

738916de261033547cd6f9e76ecb574a.png

b515247afdca2965af7db3c95258dd25.png


5.格式化hdfs

114ea4c287a89838e2ed3fe1d773f4d8.png

f9111ec6ad645564034e81c654350457.png


6.启动hadoop集群

504f87797d4078ad9532e8cce11d544b.png

查看节点2，3和状态

bbda4c2ddd9b3a35103a1c78fdc408ed.png

ab791ae8151972a0db3ad18c8f847b83.png


7.登陆web 172.25.29.1：50070

67f800d58d9043d683847c8c2f680616.png


8.启动集群管理资源模块

9b5da16f9de56410f05d823d144f0068.png

4da67337a581f327afa2701df9c7e90c.png

4074ec199f9ea69294457c688432a5c0.png

b1657ea804355d92f0bc64ffa9473d13.png