一、集群搭建之主节点
1、下载安装包及测试文档
2、安装Java JDK
3、Hadoop安装
4、修改hosts文件
5、创建数据文件夹
6、修改hadoop hadoop-env.sh文件配置
7、修改hadoop core-site.xml文件配置
8、修改hadoop hdfs-site.xml文件配置
9、修改hadoop yarn-site.xml文件配置
10、修改hadoop mapred-site.xml文件配置
11、修改hadoop slaves文件配置
12、创建公钥
13、拷贝公钥,过程中需要输入zhangyu用户的密码
14、拷贝文件到所有从节点
15、格式化分布式文件系统
16、启动Hadoop
17、查看Hadoop进程
18、在命令行中输入以下代码,打开Hadoop WebUI管理界面:
19、测试HDFS集群以及MapReduce任务程序
二、集群搭建之从节点1
1、Java环境配置
2、修改hosts文件
3、创建公钥
4、Hadoop环境配置
5、创建数据文件夹:
三、集群搭建之从节点2
1、Java环境配置
2、修改hosts文件
3、创建公钥
4、Hadoop环境配置
5、创建数据文件夹
进入主界面:一个主结点,两个从结点
一、集群搭建之主节点
1、下载安装包及测试文档
切换目录到/tmp
cd /tmp
下载Hadoop安装包
wget http://59.74.172.143:60000/hadoop-2.6.0-cdh5.4.5.tar.gz
下载JDK安装包