平台: Linux系统
所需安装软件:
1、必须安装Java,推荐的Java版本在HadoopJavaVersions
2、必须安装ssh,并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本。
下载软件:
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
上传:
securecrt 按下ALT+P就开启新的会话 进行ftp操作。
lpwd: 查询本地目录
pwd: 查询linux主机所在目录
put hadoop-2.6.0-cdh5.7.0.tar.gz
解压:
tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /home/hadoop/appscd hadoop-2.6.0-cdh5.7.0
cd /home/hadoop/apps/hadoop-2.6.0-cdh5.14.2/etc/hadoop
伪分布式模式安装:
编辑文件etc / hadoop / hadoop-env.sh来定义一些参数
#设置为Java安装的根目录
export JAVA_HOME=/usr/local/soft/jdk1.8.0_73
修改 core-site.xml:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoopdata</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
</configuration>
修改 slaves:
hadoop01
添加 hadoop 环境变量:
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.0-cdh5.14.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
格式化 namenode:
[hadoop@hadoop01 ~]$ hadoop namenode -format
启动 hdfs:
start-dfs.sh
启动 yarn:
start-yarn.sh
检查集群启动是否成功:
1、 利用 jps 工具检测各进程是否启动成功
2、 Web UI 查看HDFS:http://hadoop01:50070/
MapReduce:http://hadoop01:8088/cluster/cluster
分布式集群安装:
修改 hadoop-env.sh:
export JAVA_HOME=/usr/java/jdk1.8.0_73
修改 core-site.xml:
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoopdata</value>
</property>
修改 hdfs-site.xml:
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hadoopdata/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hadoopdata/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>hadoop02:50090</value>
</property>
修改 mapred-site.xml(集群只有 mapred-site.xml.template,可以从这个文件进行复制,或者直接改名也可):
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
修改 yarn-site.xml:
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop02</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
修改 slaves 文件:
hadoop02
hadoop03
hadoop04
分发安装包到各个节点,Hadoop 集群的每个节点都需要安装 Hadoop 安装包:
scp -r hadoop-2.6.0-cdh5.14.2 hadoop02:$PWD
scp -r hadoop-2.6.0-cdh5.14.2 hadoop03:$PWD
分别添加 hadoop 环境变量:
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.0-cdh5.14.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
在 HDFS 主节点上执行命令进行初始化 namenode:
hadoop namenode -format
启动 hdfs:
start-dfs.sh
启动 yarn:
start-yarn.sh
检查集群启动是否成功:
1、 利用 jps 工具检测各进程是否启动成功
2、 Web UI 查看HDFS:http://hadoop01:50070/
MapReduce:http://hadoop01:8088/cluster/cluster
测试集群是否安装成功:
1、检测 hdfs 是否启动成功hadoop fs -ls /
2、检测 yarn 集群是否启动成功(提交 mapreduce 例子程序试跑)
hadoop jar hadoop-mapreduce-examples-2.6.4.jar pi 5 5
补充说明:
1、启动 namenode 或者 datenodesbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start namenode
2、启动 yarn nodemanager
sbin/yarn-daemon.sh start nodemanager
sbin/yarn-daemon.sh start resourcemanager
3、hdfs 集群信息 web 管理界面地址
http://hadoop01:50070
4、mapreduce 运行状态信息 web 管理界面
http://hadoop02:8088
5、查看集群状态
hadoop dfsadmin -report
hdfs dfsadmin -report(推荐用这个)
参考文档:http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-project-dist/hadoop-common/SingleCluster.html