使用Hadoop,Hbase集群搭建

目录

前言

1、集群至少要有三个节点；

1.1Hadoop集群规化

1.2准备三台虚拟机

1.3修改拷贝过来的虚拟机的ip

1.4修改master、slave1和slave2的主机名与IP的映射

1.5将master主机上的Hadoop配置文件同步到其他两个主机上

1.6启动Hadoop集群

 总结

---

前言

Hadoop 是Google MapReduce 的一个 Java 实现。MapReduce 是一种简化的分布式编程模式， 让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同 java程序员可以 不考虑内存泄露一样，MapReduce 的 run-time 系统会解决输入数据的分布细节, 跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。

1、集群至少要有三个节点；

1.1Hadoop集群规化

HDFS的NameNode是主，DataNode是从，YARN的 ResourceManager是主，NodeManager是从。在正式集群部署之前，先要做规划，规划好每个主机/节点分别运行Hadoop的哪些进程。

说明:要根据实际虚拟机修改下表的IP地址，每个人的虚拟机 IP 网段可能都不一样。

主机IP	主机的主机名	HDFS	YARN
192.168.159.100	master	NameNode DataNode	ResourceManager NodeManager
192.168.159.101