Hadoop在Linux系统中的安装及基本操作

Hadoop在Linux系统中的安装、单节点设置、ssh免密登录及基本设置。

1、安装hadoop

步骤1：将tar文件上传至linux（目标目录自定义）

步骤:2：在Xshell中使用命令行进行安装

2、单节点配置

步骤1：将tar文件上传至linux（目标目录自定义）

步骤 1.1：修改core-site.xml

在配置项中增加以下内容：

<configuration>
     <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:9000</value>
     </property>
     <property>
         <name>hadoop.tmp.dir</name>
         <value>/develop/work_space/hadoop/</value>
     </property>
</configuration>

步骤 1.2：修改hdfs-site.xml

在配置项中增加以下内容：（这里的值指定DataNode存储block的副本数量）

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

步骤2：NameNode格式化

…

步骤3：启动HDFS

步骤4：上传文件

步骤5：下载文件

3、查看HDFS整体状态

步骤1：在浏览器查看HDFS整体状况

步骤2：在浏览器查看DataNode状况

步骤3：在浏览器查看所有文件信息

4、设置ssh免密登录

步骤1：使用密码进行ssh登录

步骤2：生成密钥

步骤3：将生成的公钥复制到允许免密登录的主机

步骤4：验证是否可以免密登录

5、问题及解决方案

6、常用命令