hadoop学习笔记1-客户端搭建

1.安装Hadoop客户端

一.装好JDK的LINUX
注意事项: 在.bashrc中配好JDK环境变量后需要source .bashrc一次才能生效;而在.profile中配JDK环境变量后每次启动shell都需要先 source .profile一次。


二.安装hadoop
· 解压 hadoop-x.x.x.tar.gz
· hadoop-x.x.x.tar.gz/etc/hadoop/hadoop-env.sh 中配置JAVA_HOME
· 配置.bashrc下PATH,添加hadoop目录下的bin目录和sbin目录
· hadoop -version 验证是否安装成功


三.hadoop客户端配置
hadoop-x.x.x.tar.gz/etc/hadoop/ 下的三个配置文件：
· core-site.xml (核心-站点 配置)
<configuration>
<property>
<!--指定hadoop所使用的文件系统-->
<name>fs.defaultFS</name>
<value>hdfs://集群主节点:port</value>
</property>
</configuration>
· mapred-site.xml (MapReduce-配置)
<property>
<!--指定mapreduce程序运行在Yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
· yarn-site.xml 
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主节点</value>
<property>


四. 格式化并连接到服务端(主节点)
· 格式化命令：hdfs namenode -format
  （看到倒数十几行有 successfully字样成功）
· 启动节点连接主节点：
  hadoop-daemon.sh start/stop datanode

OK！一个Hadoop客户端就搭建好啦。
这时你就可以访问
HDFS集群： http://主节点IP:50070
YARN集群:  http://RESOURCEMANAGER_IP:8088
MR作业日志服务器： http://HISTORYSERVER_IP:19888