hadoop hdfs mapreduce yarn 单节点安装

 

为了学习和测试，可以将hadoop的所有功能都安装到一台机器。

1.配置JAVA_HOME，因为hadoop运行依赖java环境

2.下载hadoop包2.6.5版本，下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.6.5/hadoop-2.6.5.tar.gz

3.解压安装包后，修改安装包路径/etc/hadoop目录下的  hdfs-site.xml ，因为是单节点，所有设置block的副本为1。

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property>
</configuration>

4.修改安装包路径/etc/hadoop目录下的 core-site.xml，设置hdfs存放数据目录hadoop.tmp.dir，和hdfs的链接地址fs.defaultFS（java等客户端可以通过9000端口访问hdfs）

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop-2.6.5/data</value>
	</property>
  <property> 
        <name>fs.defaultFS</name> 
        <value>hdfs://localhost:9000</value> 
  </property> 
</configuration>

5.ssh localhost 命令 检查本机ssh免密码登录是否开启，因为启动datanode，namenode等节点需要密码登录，如果没有请参考https://blog.csdn.net/xiaochen1219/article/details/80016852 开启本机密码登录 

6.使用安装包路径/bin/目录的下的hdfs命令格式化namenode

      ./bin/hdfs namenode -format  

7.安装包路径/sbin/下的start-all启动hadoop全部节点，包含（NodeManager，NameNode，DataNode等）

     ./sbin/start-all.sh 

至此hadoop单节点就全部安装完成了，可以使用jps命令可以看到启动了节点：

 NodeManager

DataNode

SecondaryNameNode

NameNode

ResourceManager

相关web页面

http://127.0.0.1:50070 访问hadoop提供的web页面，通过Browse the system，可以查看hdfs中的文件。

http://127.0.0.1:8088 访问mapreduce 提供的任务查看页面

hdfs体验

1.在hdfs上创建目录：如创建目录 opt/test

{hadoop安装目录}/bin/hadoop fs -mkdir -p /opt/test

2.上传本地文件到hdfs：如上传xxx.txt到opt/test 目录

{hadoop安装目录}/bin/hadoop fs -put xxx.txt /opt/test

Browse the system可以看到刚上传的文件

 

3.查看某个路径下的文件列表

{hadoop安装目录}/bin/hadoop fs -ls /opt/test

4.查看hdfs中的文件

{hadoop安装目录}/bin/hadoop fs -cat  /opt/test/xxx.txt

5.下载hdfs中的文件到当前路径

{hadoop安装目录}/bin/hadoop fs -get /opt/test/xxx.txt ./