前面希光已经把所有的基础配置都讲得差不多了。现在一个个集群开始搭建啦! 今天就从最基础的Hadoop集群开始搭建吧。
1.Hadoop的定义
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
它可以使用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。hadoop的框架最核心的设计就是HDFS和MapReduce,HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算。
2.Hadoop的安装
- 集群规划
- 修改配置文件
#将hadoop安装包解压到module文件夹下
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
#此设置是为了可以在任何路径下,执行hadoop的命令
vim hadoop-env.sh
export JAVA_HOME = /opt/module/jdk-1.8
vim yarn-env.sh
export JAVA_HOME = /opt