这里搭建的是慕课网大数据课程中的版本
1、下载hadoop
wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
2、解压hadoop
tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/
3、修改配置文件
配置文件1、/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/hadoop-env.sh
修改其中export JAVA_HOME=/home/root/app/jdk1.8.0_181
配置文件2、同1目录下core-site.xml
在<configuration>中添加:
<!--hadoop name node-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:8020</value>
</property>
<!--hadoop 临时文件夹-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/tmp</value>
</property>
配置文件3、同目录下 hdfs-site.xml
在configuration中添加,
<!--由于是单节点,所以 这里配置副本数量为1-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
配置文件4、 同目录下slave文件
添加虚拟机的名字
hadoop001
4、格式化name node
进入hadoop bin目录:
/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/bin
执行格式化命令
./hdfs namenode -format
出现Storage directory /home/hadoop/app/tmp/dfs/name has been successfully formatted.成功。
5、配置hadoop环境变量
vi ~/.bash_profile
#hadoop
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOOP_HOME/bin:$PATH
6、启动hadoop
进入目录/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/sbin
执行命令./start-dfs.sh
用jps查看,出现以下三个节点证明启动成功,如果没有三个,查看日志。
4595 NameNode
4867 SecondaryNameNode
4725 DataNode
浏览器打开网址http://虚拟机ip:50070/
就能看到hadoop界面
7、如果用yarn管理hadoop,配置yarn
进入目录:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
复制文件cp mapred-site.xml.template mapred-site.xml
在configuration中添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
保存退出
修改同目录下yarn-site.xml
在configuration中添加
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
启动yarn
./start-yarn.sh
jps检测进程,多出ResourceManager,yarn启动成功
可看到管理界面
由此yarn管理的单节点hadoop搭建完成。