cdh hadoop2单机安装 hdfs和yarn
tar安装
hadoop2软硬件准备
- 准备硬件(linux)(ssh免密码登录,只是在启动或关闭时才用到免密码登录)
- 准备软件安装包,并安装基础软件(主要jdk)
- 将hadoop安装包分发到各个节点的同一个目录下,并解压
- 修改配置文件
- 启动服务
- 验证是否启动成功
http://archive.cloudera.com/cdh5/cdh/5/
配置
etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>cdh1:9001</value>
</property>
<!--
<property>
<name>mapreduce.framework.name</name>
<value>cdh1:9001</value>
</property>
-->
</configuration>
etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cdh1:8020</value>
</property>
</configuration>
etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/weishanwei/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/weishanwei/hadoop/dfs/data</value>
</property>
</configuration>
etc/hadoop/yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
etc/hadoop/slaves
localhost
hdfs启动
启动Namenode
- 在各个JournalNode节点上,输入以下命令启动journalnode
sbin/hadoop-daemon.sh start journalnode - 在[nn1]上对其进行格式化,并启动:
在 /usr/local/hadoop/weishanwei/hadoop/dfs/name中生成namenode第一次运行的准备文件
bin/hdfs namenode -format - 在[nn2],启动NameNode
sbin/hadoop-daemon.sh start namenode - 启动datanode
在 /usr/local/hadoop/weishanwei/hadoop/dfs/data中生成namenode第一次运行的准备文件
sbin/hadoop-daemons.sh start datanode
验证是否启动成功
jps
或
http://IP:50070
yarn启动
sbin/start-yarn.sh