1.安装Hadoop客户端
一.装好JDK的LINUX
注意事项: 在.bashrc中配好JDK环境变量后需要source .bashrc一次才能生效;而在.profile中配JDK环境变量后每次启动shell都需要先 source .profile一次。
二.安装hadoop
· 解压 hadoop-x.x.x.tar.gz
· hadoop-x.x.x.tar.gz/etc/hadoop/hadoop-env.sh 中配置JAVA_HOME
· 配置.bashrc下PATH,添加hadoop目录下的bin目录和sbin目录
· hadoop -version 验证是否安装成功
三.hadoop客户端配置
hadoop-x.x.x.tar.gz/etc/hadoop/ 下的三个配置文件:
· core-site.xml (核心-站点 配置)
<configuration>
<property>
<!--指定hadoop所使用的文件系统-->
<name>fs.defaultFS</name>
<value>hdfs://集群主节点:port</value>
</property>
</configuration>
· mapred-site.xml (MapReduce-配置)
<property>
<!--指定mapreduce程序运行在Yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
· yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主节点</value>
<property>
四. 格式化并连接到服务端(主节点)
· 格式化命令:hdfs namenode -format
(看到倒数十几行有 successfully字样成功)
· 启动节点连接主节点:
hadoop-daemon.sh start/stop datanode
这时你就可以访问
HDFS集群: http://主节点IP:50070
YARN集群: http://RESOURCEMANAGER_IP:8088
MR作业日志服务器: http://HISTORYSERVER_IP:19888
一.装好JDK的LINUX
注意事项: 在.bashrc中配好JDK环境变量后需要source .bashrc一次才能生效;而在.profile中配JDK环境变量后每次启动shell都需要先 source .profile一次。
二.安装hadoop
· 解压 hadoop-x.x.x.tar.gz
· hadoop-x.x.x.tar.gz/etc/hadoop/hadoop-env.sh 中配置JAVA_HOME
· 配置.bashrc下PATH,添加hadoop目录下的bin目录和sbin目录
· hadoop -version 验证是否安装成功
三.hadoop客户端配置
hadoop-x.x.x.tar.gz/etc/hadoop/ 下的三个配置文件:
· core-site.xml (核心-站点 配置)
<configuration>
<property>
<!--指定hadoop所使用的文件系统-->
<name>fs.defaultFS</name>
<value>hdfs://集群主节点:port</value>
</property>
</configuration>
· mapred-site.xml (MapReduce-配置)
<property>
<!--指定mapreduce程序运行在Yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
· yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主节点</value>
<property>
四. 格式化并连接到服务端(主节点)
· 格式化命令:hdfs namenode -format
(看到倒数十几行有 successfully字样成功)
· 启动节点连接主节点:
hadoop-daemon.sh start/stop datanode
这时你就可以访问
HDFS集群: http://主节点IP:50070
YARN集群: http://RESOURCEMANAGER_IP:8088
MR作业日志服务器: http://HISTORYSERVER_IP:19888