Hadoop单机与伪分布式环境(CentOS)

最新推荐文章于 2022-04-29 10:57:00 发布
最新推荐文章于 2022-04-29 10:57:00 发布
阅读量218 收藏
点赞数 1
分类专栏： # Hadoop环境搭建 Hadoop 文章标签： linux java centos hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44263764/article/details/110555901
版权
本文介绍了如何在CentOS 7系统中搭建Hadoop的单机和伪分布式环境，包括环境准备、CentOS配置、用户权限设置、JDK安装、SSH配置、Hadoop安装及配置等步骤，详细阐述了每个环节的关键操作。
摘要由CSDN通过智能技术生成

Hadoop单机与伪分布式环境(CentOS)

目录

 

环境准备

  • 环境准备

    CentOS 7 64位 、Hadoop2.7.2、jdk1.8

    这里使用的是虚拟机安装CentOS 7 系统进行环境搭建。

  • 下载地址

    可以通过官网自行下载

    1. Hadoop 2.7.2 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
    2. jdk1.8 https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

 

 

CentOS 配置

虚拟机安装好之后设置网络连接方式为NAT，设置静态IP，并且关闭防火墙。或者也可以设置网络连接方式为桥接方式，但之后的Hadoop分布式集群搭建也会使用NAT模式。

设置网络连接为NAT模式参考博客

 
首先来进行一些系统的设置。

创建用户并设置root权限

  • 创建用户ht
$ su              # 以 root 用户登录
$ useradd -m ht -s /bin/bash   # 创建新用户ht
$ passwd ht       // 修改密码
  • 赋予ht 用户root的权限

要赋予权限，先把当前用户切换为 root。

首先要知道系统中存放sudoer的目录位置，使用如下命令：

$ whereis sudoers

得到结果：

在这里插入图片描述

使用ls -l查看root用户对sudoers文件的权限，发现是只读权限，就增加写的权限。

增加写权限：

$ chmod -v u+w /etc/sudoers

在这里插入图片描述

然后执行以下命令：

$ vim /etc/sudoers

第100行，可以先按一下键盘上的 ESC 键，然后输入:100 (按一下冒号，接着输入100，再按回车键)。添加如下一行内容到文件中：

[你的普通用户名]      ALL=(ALL)       ALL

如图：

在这里插入图片描述

然后收回root用户对sudoers文件的写权限：

$ chmod -v u-w /etc/sudoers

在这里插入图片描述

 

上面已经修改了用户的权限，现在我们使用su命令登录该用户。

$ su ht

 

修改主机名

通过hostnamectl set-hostname [新的主机名]可以永久修改主机名：

[ht@localhost ~]$ hostnamectl set-hostname hadoop100
[ht@localhost ~]$ hostname
hadoop100

然后修改 /etc/hosts，配置主机名到IP地址的映射：

[ht@localhost ~]$ sudo vim /etc/hosts

新增以下内容，如图：

192.168.137.100 hadoop100

在这里插入图片描述

最后重启机器。

 

【/etc/hosts 和/etc/hostname的区别】

  • hostname是主机名，用来标识你的机器

  • /etc/hosts功能相当于DNS，记录IP到主机名/域名的映射，Linux系统在向DNS服务器发出域名解析请求之前会查询/etc/hosts文件，如果里面有相应的记录，就会使用hosts里面的记录。

    hosts文件格式是一行一条记录，分别是 IP hostname aliases，三者用空白字符分隔，aliases可选。

    127.0.0.1 到 localhost 这一条建议不要修改，很多应用程序会用到这个。

 

 

安装SSH、配置SSH免密登陆

先使用以下命令查看一下系统中是否安装了SSH：

[ht@hadoop100 ~]$ rpm -qa | grep ssh
openssh-7.4p1-21.el7.x86_64
libssh2-1.8.0-3.el7.x86_64
openssh-server-7.4p1-21.el7.x86_64
openssh-clients-7.4p1-21.el7.x86_64

可以看到ssh-server与ssh-clients已经安装好了，就不需要再安装。

若需要安装，则可以通过 yum 进行安装（安装过程中会让你输入 [y/N]，输入 y 即可）：

sudo yum install openssh-clients
sudo yum install openssh-server

接着使用以下命令来登录SSH（相当于远程登录到本机）：

[ht@hadoop100 ~]$ ssh localhost
The authenticity of host 'localhost (::1)' can't be established.
ECDSA key fingerprint is xxx(马赛克).
ECDSA key fingerprint is xxx(马赛克).
Are you sure you want to continue connecting (yes/no)? yes     # 输入yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
ht@localhost's password: 
Last login: Wed Dec  2 18:17:17 2020

但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

退出远程登录：

[ht@hadoop100 ~]$ exit
logout
Connection to localhost closed.

配置SSH免密登录：

[ht@hadoop100 ~]$ cd .ssh/
[ht@hadoop100 .ssh]$ ssh-keygen -t rsa  #生成密钥对的时候，一直按回车即可
[ht@hadoop100 .ssh]$ cat id_rsa.pub >> authorized_keys
[ht@hadoop100 .ssh]$ chmod 600 authorized_keys

[ht@hadoop100 .ssh]$ ssh localhost        #测试看看登录是否不用密码了
Last login: Thu Dec  3 08:18:47 2020 from localhost

注：上述命令中，修改了公钥文件id_rsa.pub的权限，这样用户ht才能读取公钥。

[ht@hadoop100 .ssh]$ ll id_rsa.pub 
-rw-r--r--. 1 ht ht 394 Dec  3 08:16 id_rsa.pub

 

 

安装JDK

1.先检查系统中是否已经安装jdk：

[ht@hadoop100 ~]$ rpm -qa | grep java
python-javapackages-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.242.b08-1.el7.x86_64
tzdata-java-2019c-1.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-1.8.0.242.b08-1.el7.x86_64

如果是则先卸载：

[ht@hadoop100 ~]$ sudo yum -y remove java-1.8.0-openjdk-headless-1.8.0.242.b08-1.el7.x86_64

2.创建以下目录用于安装：

[ht@hadoop100 opt]$ sudo mkdir module
[ht@hadoop100 opt]$ sudo mkdir software

修改module与software目录的权限：

[ht@hadoop100 opt]$ sudo chown ht:ht module/ software/

安装jdk：

[ht@hadoop100 ~]$ cd /opt/software/
[ht@hadoop100 software]$ tar -zxvf jdk-8u162-linux-x64.tar.gz -C /opt/module/

3.配置java环境变量

打开配置文件：

[ht@hadoop100 ~]$ sudo vim /etc/profile

添加如下内容：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_162
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述

使之生效：

[ht@hadoop100 ~]$ source /etc/profile

查看是否安装成功，如出现以下提示就是安装成功了：

[ht@hadoop100 ~]$ java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

 

 

Hadoop单机配置

Hadoop安装后默认为单机环境。

  • 安装Hadoop

    [ht@hadoop100 ~]$ cd /opt/software/
[ht@hadoop100 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

  • 配置环境变量

    [ht@hadoop100 ~]$ sudo vim /etc/profile
[sudo] password for ht:

    添加以下内容：

    #HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

    在这里插入图片描述

    保存退出，使配置文件生效：

    [ht@hadoop100 ~]$ source /etc/profile

    查看Hadoop环境变量是否配置成功：

    [ht@hadoop100 ShareData_CentOS]$ hadoop version
Hadoop 2.7.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b165c4fe8a74265c792ce23f546c64604acf0e41
Compiled by jenkins on 2016-01-26T00:08Z
Compiled with protoc 2.5.0
From source with checksum d0fda26633fa762bff87ec759ebe689c
This command was run using /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar

 

 

运行WordCount案例

[ht@hadoop100 hadoop-2.7.2]$ mkdir wcinput
[ht@hadoop100 hadoop-2.7.2]$ cd wcinput/
[ht@hadoop100 wcinput]$ touch wc.input
[ht@hadoop100 wcinput]$ vim wc.input

输入几个词：

在这里插入图片描述

[ht@hadoop100 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput
[ht@hadoop100 hadoop-2.7.2]$ cat wcoutput/part-r-00000      #查看运行结果

查看结果：

在这里插入图片描述

注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 output文件删除。

 
 
 

Hadoop伪分布式配置

接下来，要分别修改这3个配置文件。

[ht@hadoop100 hadoop]$ vim hadoop-env.sh

[ht@hadoop100 hadoop]$ vim core-site.xml 

[ht@hadoop100 hadoop]$ vim hdfs-site.xml

  • hadoop-env.sh

    打开hadoop-env.sh文件，定位到这一行，我们需要修改java的路径。

    在这里插入图片描述

    修改为：

    export JAVA_HOME=/opt/module/jdk1.8.0_162

    保存并退出。

     

  • core-site.xml

    将以下配置添加进去，然后保存退出：

    <!-- HDFS: Address of NameNode -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop100:9000</value>
    </property>

<!-- to save output files when Hadoop runs -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>

    在这里插入图片描述

     

  • hdfs-site.xml

    添加以下配置：

    <!-- HDFS:the number of replication -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

     

  • 格式化namenode

    配置了hadoop环境变量的，可以在任何目录下执行hdfs命令。

    [ht@hadoop100 hadoop-2.7.2]$ hdfs namenode -format

    在这里插入图片描述

    格式化成功。注意：格式化只需要一次。

     

  • 启动伪分布式集群

    启动namenode

    [ht@hadoop100 hadoop-2.7.2]$ hadoop-daemon.sh start namenode
starting namenode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-ht-namenode-hadoop100.out

    启动datanode

    [ht@hadoop100 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-ht-datanode-hadoop100.out

    查看集群运行状态，输入jps命令：

    在这里插入图片描述

  • 在web端查看集群状态

    打开浏览器，访问：http://hadoop100:50070 或http://localhost:50070

    在这里插入图片描述

 

 

参考
http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/ 厦大数据库实验室博客

虾米奥
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
在CentOS上配置单机版、伪分布式hadoop.doc
06-16
1.SSH无密码登录 （1）SSH相关包检查与安装 在安装有些Linux系统是，如果选择的是基本安装、最小安装，SSH协议是不会安装的。所以在启动SSH协议之前，需要进行ssh和rsync两个服务的检查
Hadoop 集群搭建（单机/伪分布式/分布式）
harvey的博客
05-31 2832
本教程适用于在 CentOS7 系统中安装 Hadoop2，详细介绍了从系统环境配置、Java环境配置到 Hadoop 安装及 Hadoop 集群配置，包括：单机、伪分布式以及分布式，步骤详细，辅以适当说明。相信按照步骤来，都能顺利搭建一个属于自己的 Hadoop 集群。 废话不多说，干货上架。一、安装虚拟机首先我们需要安装一个虚拟机软件，安装教程可以参考笔者的博客：安装VMware及新建虚拟机二
超详细的Hadoop3.1.2架构单机、伪分布式、完全分布式安装和配置
geejkse_seff的博客
04-29 816
Hadoop是大数据处理主流框架，如果要学习大数据处理与存储，hadoop是必须掌握的一种框架技术。动手安装是最基础的实践，下面介绍一下单机、伪分布式和完全分布式安装与配置、测试过程，供有需要的参考。 目录 （1）软件准备 （2）Centos安装及网络配置? （3）JDK安装配置 （4）Hadoop单机安装及配置 （5）Hadoop伪分布配置 （6）启动HADOOP及伪分布式测试 （7）Hadoop完全分布式集群搭建及配置 （1）软件准备 包括：VMWare Workstation虚拟机 Centos764
hadoop单机模式和伪分布式，全分布式的区别？
weixin_44627672的博客
08-11 7561
1.单机模式（standalone） 单机模式是Hadoop的默认模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。 2.伪分布模式（Pseudo-
Hadoop单机模式，伪分布式和分布式文件系统配置
chaos_oper的博客
05-19 1078
一.Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（h...
Hadoop三种安装模式
liumm0000的专栏
10-28 2万+
Hadoop三种安装模式：单机模式，伪分布式，真正分布式 一 单机模式standalone 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守
Hadoop安装教程_单机_伪分布式配置_CentOS6.4_Hadoop2.6
03-05
根据给定文件的信息，本文将详细介绍如何在 CentOS 6.4 系统中安装 Hadoop 2.6.0，并实现单机模式与伪分布式模式的配置。 ### 环境准备 #### 操作系统环境 - **操作系统**: CentOS 6.4 32位 - **虚拟化平台**: ...
Hadoop伪分布式集群环境搭建
10-14
本篇将详细介绍如何在本地计算机上搭建Hadoop的伪分布式集群环境，这非常适合初学者进行学习和测试。 首先，我们需要了解Hadoop的组成部分。Hadoop主要由两个核心组件构成：HDFS（Hadoop Distributed File System）...
虚拟机伪分布式安装hadoop的配置
最新发布
12-23
为了在个人计算机上模拟Hadoop的分布式环境，我们通常会在虚拟机上进行“伪分布式”安装。这个过程允许我们在一台机器上模拟多个节点，以便学习和测试Hadoop的功能。以下是对标题和描述中涉及的步骤的详细说明： 1....
hadoop-1单机模式和伪分布式和完全分布式存储
AwesomeWang7的博客
09-16 2296
hadoop大数据平台 hadoop属于底层的基础设施，一个生态当中的基础。hadoop起源于google的三大论文。GFS，MAPREDUCE和BIGTABLE。 hadoop名字来源是hadoop之父道卡廷儿子的毛绒玩具名。 我们所使用的是基于apache协议分发 常见的有三种，apache版本，cdh版本，hdp版本 本次就是要搭建一个hadoop框架，部署一个简单的大数据平台： hadoop的框架最核心的是hdfs和mapreduce，hdfs为海量数据提供存储。mapreduce为海量数据提供计算
Ubuntu16.04安装Hadoop单机和伪分布式环境超详细
热门推荐
康康
12-10 3万+
介绍：Hadoop是Apache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，为应用程序提供了一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。 HDFS（ 分布式文件系统）为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。通过这次云计算课程，我希望通过自己亲手搭建Hadoop并操作一些实例来体会一下云计算的魅力。 安装环
Hadoop2.7.3单机伪分布式环境搭建
家辉自留地
07-10 3035
Hadoop2.7.3单机伪分布式环境搭建作者：家辉，日期：2018-07-10 CSDN博客： http://blog.csdn.net/gobitan说明：Hadoop测试环境经常搭建，这里也做成一个模板并记录下来。基础环境：CentOS7模板，参考：https://blog.csdn.net/gobitan/article/details/80993354 CentOS7_64位操作系统模板...
Hadoop的三种模式（单机模式，伪分布式，完全分布式）以及集群的搭建
Sparks _Fly
07-13 6497
一、本机分布式 1.创建hadoop用户，将安装包传到hadoop的家目录下 [root@server1 ~]# useradd hadoop [root@server1 ~]# id hadoop uid=1000(hadoop) gid=1000(hadoop) groups=1000(hadoop) [root@server1 ~]# ls hadoop-3.0.3.tar.gz jdk-...
Hadoop单机模式以及伪分布式搭建详解
IT_ICANDO的博客
10-07 816
Hadoop单机伪分布式环境搭建步骤 本教程使用 Ubuntu 14.04 64位 作为系统环境（Ubuntu 12.04，Ubuntu16.04 也行，32位、64位均可） Hadoop版本 Hadoop 有两个主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列，比较老的教材上用的可能是 0.20 这样的版本。Hadoop 2.x 版本在不断更新，本教程均可适用。如果需...
Hadoop三种运行模式（单机模式、伪分布式模式、全分布式集群模式）
菜鸟不会飞
10-20 1万+
Hadoop的三种运行模式（启动模式） 1.1、单机模式（独立模式）（Local或Standalone  Mode） 　　-默认情况下，Hadoop即处于该模式，用于开发和调式。 　　-不对配置文件进行修改。 　　-使用本地文件系统，而不是分布式文件系统。 　　-Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和R...
hadoop单机模式、伪分布式和分布式
dzh1125641239的博客
05-28 1440
一.单机模式 建立用户，设置密码(密码此次设置为redhat) [root@server1 ~]# useradd -u 1000 hadoop [root@server1 ~]# passwd hadoop 2.hadoop的安装配置 [root@server1 ~]# mv hadoop-3.0.3.tar.gz jdk-8u181-linux-x64.tar.gz /home/hado...
linux搭建单机版和伪分布式hadoop
Gorilla的博客
10-25 801
前提:我使用的window操作系统，然后下载的VMware创建虚拟机，然后在xshell中进行操作，并使用filezilla进行文件的上传。这些可以自行百度搜索下载。 单机版hadoop环境搭建 首先我们用VMware创建一个新的虚拟机。创建过程不在细说了。 创建完成后，useradd hadoop添加用户，并添加密码。 然后ip addr查询一下ip在xshell和filezilla上连接一下。...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值