Hadoop 完整分布式

完全分布式和伪分布式类似,区别在于伪分布式只有一个节点,然而完全分布式可以有多个节点,各节点的配置相同.完全分布式的部署如下

1. 更改数据持久物理层目录
2. 高可用namenode
3. 分散datanode
4. 格式化namenode
5. 启动集群
6. 验证进程
7. 启动WEB UI

 

(一) 配置core-site.xml,更改数据持久层目录,默认目录在tmp临时目录下

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration>     <property>         <name>fs.defaultFS</name>         <value>hdfs://server10:8020</value>     </property>     <property>         <name>hadoop.tmp.dir</name>         <value>/cluster/hadoop</value>     </property> </configuration>

 

(二) 配置hdfs-site.xml, 分离secondarynamenode进程到其他节点,高可用namenode

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>   <configuration>     <property>         <name>dfs.replaction</name>         <value>3</value>     </property>     <property>         <name>dfs.namenode.secondary.http-address</name>         <value>server14:9869</value>     </property> </configuration>

 

(三) 配置workers,添加节点hosts映射ip地址映射主机,分散datanode

server11 server12 server13

 

(四) 格式化namenode

#> hdfs namenode -format

 

(五) 启动集群

#> start-dfs.sh && start-yarn.sh

 

(六) 验证启动进程

#> jps   ----------- localhost ------------ 45031 ResourceManager 46343 Jps 44572 NameNode ----------- server11 ------------ 10626 Jps 10442 NodeManager 10301 DataNode ----------- server12 ------------ 6028 NodeManager 5887 DataNode 6207 Jps ----------- server13 ------------ 5553 DataNode 5876 Jps 5694 NodeManager ----------- server14 ------------ 8723 Jps 8521 SecondaryNameNode

 

(七)启动web UI

#> http://server10:9870