hadoop伪分布式环境搭建与测试

最新推荐文章于 2023-12-25 22:44:49 发布

汪鑫人~

最新推荐文章于 2023-12-25 22:44:49 发布

阅读量1.3k

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/qianxin_HadoopBird/article/details/52576017

版权

本文详细介绍了如何在Linux环境下搭建Hadoop伪分布式系统，包括系统环境设置、Hadoop目录结构创建、JDK安装、HDFS和YARN的配置与测试，以及MapReduce的运行。内容涵盖固定IP配置、主机名修改、主机映射、环境变量设置、JDK安装、Hadoop解压、HDFS和YARN的XML配置、HDFS与YARN的启动和测试，以及MapReduce WordCount程序的执行。

摘要由CSDN通过智能技术生成

标签（空格分隔）： hadoop 伪分布式集群搭建

第一步 Linux系统环境设置
          1. 系统环境介绍
          2. 配置固定IP地址
          3. 修改主机名
          4. 建立主机映射
          5. 关闭防火墙、禁用selinux
          6. 创建普通用户、设置用户密码
          7. 为创建的普通用户赋权限
          8. 卸载CentOS自带的Openjdk
第二步创建hadoop目录结构并使用FileZilla上传文件
          1. 以普通用户创建hadoop目录结构
          2. 修改目录归属者
          3. 使用FileZilla上传文件至相应的目录中
第三步安装JDK、配置环境变量、解压Hadoop2.5.0
          1. 安装JDK
          2. 配置环境变量
          3. 解压Hadoop2.5.0文件，最大化可用空间
第四步配置HDFS、启动和测试读写文件
          1. 使用Notepad++配置hadoop-env.sh中的JAVA_HOME
          2. 使用Notepad++配置hdfs相关的xml属性
          3. 格式化HDFS系统、启动HDFS系统及测试读写文件
第五步配置YARN、启动和MapReduce运行在YARN上
          1. 使用Notepad++配置yarn-env.sh和mapred-env.sh中的JAVA_HOME
          2. 使用Notepad++配置yarn相关的xml属性，并启动YARN
          3. 使用Notepad++配置mapred相关的xml属性，并启动JobHistoryServer服务
          4. 运行MapReduce WordCount程序
HDFS、YARN以及MapReduce功能描述

【第一步】：Linux系统环境设置

1. 系统环境介绍

          1）虚拟机环境： VMWare Workstation 12
          2）操作系统   ： CentOS 6.5
          3）远程工具   ： SecureCRT（远程连接工具）
                                    FileZilla（远程文件传输工具）

2. 配置固定IP地址

  IPv4 Settings :
        IPADDR  : 192.168.1.100
        NETMASK : 255.255.255.0
        GATEWAY : 192.168.1.1
        DNS1    : 192.168.1.1
        DNS2    : 8.8.8.8
  setting file  ：/etc/sysconfig/network-scripts/ifcfg-eth0

3. 修改主机名

[root@localhost ~]# hostname
localhost
[root@localhost ~]# vi /etc/sysconfig/network
[root@localhost ~]# hostname
hadoop-master.qianxin.com

4. 建立主机映射

修改Linux主机映射

[root@localhost ~]# vi /hosts

修改Windows主机映射

使用Notepad++打开C:\Windows\System32\drivers\etc目录下的hosts文件添加以下信息：
    192.168.1.100   hadoop-master.qianxin.com
修改完成后，重启Linux系统。

5. 关闭防火墙、禁用selinux

[root@hadoop-master ~]# service iptables stop
[root@hadoop-master ~]# chkconfig iptables off
[root@hadoop-master ~]# vi /etc/selinux/config

6. 创建普通用户、设置用户密码

[root@hadoop-master ~]# useradd qianxin
[root@hadoop-master ~]# passwd qianxin

7. 为创建的普通用户赋权限

[root@hadoop-master ~]# visudo

8. 卸载CentOS自带的Openjdk

[root@hadoop-master ~]# rpm -qa | grep java
[root@hadoop-master ~]# rpm -e --nodeps [已安装的jdk应用名]

【第二步】：创建hadoop目录结构并使用FileZilla上传文件

1. 以普通用户创建hadoop目录结构

[qianxin@hadoop-master ~]$ cd /opt
[qianxin@hadoop-master opt]$ sudo mkdir datas modules softwares tools
[qianxin@hadoop-master opt]$ ls -l
drwxr-xr-x 2 root root <