Hadoop 3.2 集群搭建

最新推荐文章于 2024-08-16 07:54:45 发布
最新推荐文章于 2024-08-16 07:54:45 发布
阅读量3.7k 收藏 3
点赞数 2
分类专栏： Big Data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cyxueecust/article/details/103766482
版权

最近两个月在做一个日志分析项目，先前创建了一台虚拟机，挂载了1.6TB block storage，不够用了。恰好另一个OpenStack集群上空闲出大约12 TB存储，以及一些CPU和RAM资源，就干脆搭一套Hadoop/HDFS集群吧，将来如果需要上Spark，可以直接在此基础上安装。

目录

0. 参考资料

1. 环境准备

1.1 虚拟机

1.2 免IP、默认key-pair登录

1.3 Cinder Volumes

1.4 hadoop用户准备和安装

2 Hadoop配置与运行

2.1 下载，解压缩，设置环境变量

2.2 配置文件

2.3 运行，测试

3. 补充

3.1 两个master节点

3.2 pydoop安装遇到的坑

0. 参考资料

1. 环境准备

1.1 虚拟机

共5台虚拟机，1台作为master node（nameNode和resourceManager），4台作为slave node（dataNode和nodeManager）。

  • Flavor：10 vCPU，61 GB memory，213 GB disk
  • Boot image：ubuntu-18.04-2018-11-22
  • 在Horizon上创建时选择预先准备的nova key-pair用来登录
  • 均使用tenant network。为master关联一个floating IP以便从外界访问

我所使用的cloud集群是由公司专门的部门搭建、管理和维护的，这个奇怪的flavor，是他们根据物理机的配置设置的，这样的flavor可以最有效的利用物理资源。这个image也是根据cloud IaaS进行制作的，与Ubuntu官方的cloud image稍有差别。最主要的，官方image的默认登录用户是ubuntu，而这里是root。下面在虚拟机上执行的命令均用root。

创建好之后，用nova list看到的信息如下：

nova list | grep hadoop
| a6ac60ca-b6f0-4c27-bafc-6282bafd2f8f | hadoop-master-1      | ACTIVE | -          | Running     | cIMS-RnD-1=192.168.0.37, 10.129.65.45 |
| 03c8fe62-8cde-43a7-9d4c-23ed995e42f4 | hadoop-slave-1       | ACTIVE | -          | Running     | cIMS-RnD-1=192.168.0.12 |
| 1f191e0c-281d-431c-8823-5f18ebf47457 | hadoop-slave-2       | ACTIVE | -          | Running     | cIMS-RnD-1=192.168.0.17 |
| 5a07624e-20b6-4a23-ac26-e92c69066eee | hadoop-slave-3       | ACTIVE | -          | Running     | cIMS-RnD-1=192.168.0.20 |
| 8beb47a7-484e-422c-ae34-024e52a02aef | hadoop-slave-4       | ACTIVE | -          | Running     | cIMS-RnD-1=192.168.0.15 |

1.2 免IP、默认key-pair登录

在每台虚拟机上执行如下操作：

  1. 将事先准备好的ssh key-pair传上来。将其放在/root/.ssh/下面，将private key命名为id_rsa，将publick key的内容放进/root/.ssh/authorized_keys文件中。这里我用的key-pair同时也配在了gitlab中，将来提交代码也可以直接使用。
  2. 在的/etc/hosts文件中，增加以下信息，将来我们在使用时，以及在hadoop的配置文件中，可以用slave1这样的host name代替IP地址
192.168.0.37    master1
192.168.0.12    slave1
192.168.0.17    slave2
192.168.0.20    slave3
192.168.0.15    slave4

1.3 Cinder Volumes

创建5个Cinder volume，1个400 GB给master使用，4个 2800 GB，给slave使用。以下是创建master 的volume命令：

cinder create --name hadoop-master-1 400

以下是所有volume的信息

[root@eecloud-56-key haxue]# cinder list | grep hadoop
| 06a53038-8241-41ab-9890-79a3b31dc77a | available | hadoop-slave-2                         | 2800 | ceph        | false    |                                      |
| 9b40cd6c-cd3c-49fa-8602-48de956e4df1 | available | hadoop-master-1                        | 400  | ceph        | false    |                                      |
| 9fba113c-c454-4ce5-83aa-86d9edbc6a2e | available | hadoop-slave-4                         | 2800 | ceph        | false    |                                      |
| c6595a51-ddf0-4c31-a4dd-a60c7774794b | available | hadoop-slave-1                         | 2800 | ceph        | false    |                                      |
| cf771466-21e4-40fa-ae80-98d8f55a74d7 | available | hadoop-slave-3                         | 2800 | ceph        | false    |                                      |

分别挂载到对应的虚拟机上，例如master节点：

nova volume-attach hadoop-master-1 9b40cd6c-cd3c-49fa-8602-48de956e4df1 auto
+----------+--------------------------------------+
| Property | Value                                |
+----------+--------------------------------------+
| device   | /dev/vdb                             |
| id       | 9b40cd6c-cd3c-49fa-8602-48de956e4df1 |
| serverId | a6ac60ca-b6f0-4c27-bafc-6282bafd2f8f |
| volumeId | 9b40cd6c-cd3c-49fa-8602-48de956e4df1 |
+----------+--------------------------------------+

登录到各台虚拟机上，对volume进行格式化，本文格式化为ext4（注意device不要写错，根据上方volume-attach的输出，是/dev/vdb）。然后挂载到/mnt/data目录。

root@hadoop-master-1:~# mkfs.ext4 /dev/vdb
mke2fs 1.44.1 (24-Mar-2018)
Creating filesystem with 104857600 4k blocks and 26214400 inodes
Filesystem UUID: a15ae607-581d-4c69-8f17-ade75e8782d1
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000

Allocating group tables: done
Writing inode tables: done
Creating journal (262144 blocks): done
Writing superblocks and filesystem accounting information:
done
root@hadoop-master-1:~# mkdir /mnt/data
root@hadoop-master-1:~# mount /dev/vdb /mnt/data
root@hadoop-master-1:~# ls /mnt/data
lost+found

1.4 hadoop用户准备和安装

后续的操作可以批量进行了,包括：

  • 创建hadoop用户
  • 设置ssh key
  • 切换/mnt/data的owner
  • 安装Java8

/root/script.sh脚本如下，并设置好执行权限。

#!/bin/bash

useradd -m -p hadoop -s /bin/bash hadoop

mkdir /home/hadoop/.ssh
cp /root/.ssh/id_rsa /root/.ssh/authorized_keys /home/hadoop/.ssh/
chown -R hadoop:hadoop /home/hadoop/.ssh

chown -R hadoop:hadoop /mnt/data

apt update
apt install openjdk-8-jdk openjdk-8-jre
echo JAVA_HOME=\"/usr/lib/jvm/java-8-openjdk-amd64\" >> /etc/environment

批量运行：

# 将脚本传到每一台虚拟机上
for host in slave1 slave2 slave3 slave4; do scp script.sh root@$host:~/; done
# 运行
for host in master1 slave1 slave2 slave3 slave4; do ssh root@$host /root/script.sh; done

2 Hadoop配置与运行

2.1 下载，解压缩，设置环境变量

切换到hadoop用户，准备如下脚本/home/hadoop/script.sh，设置好执行权限

#!/bin/bash
wget http://us.mirrors.quenda.co/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
tar -zxf hadoop-3.2.1.tar.gz
mv hadoop-3.2.1 hadoop
echo "export HADOOP_HOME=/home/hadoop/hadoop" >> .bashrc
echo "export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin" >> .bashrc

对所有节点批量操作：

# 将脚本传到每一台虚拟机上
for host in slave1 slave2 slave3 slave4; do scp script.sh hadoop@$host:~/; done
# 运行
for host in master1 slave1 slave2 slave3 slave4; do ssh hadoop@$host /home/hadoop/script.sh; done

2.2 配置文件

共修改以下五个文件，并将它们传到所有虚拟机的相同目录下，覆盖原文件。先贴在这里，后续再增加解释。

（目前只是根据官方文档和网上的其它参考资料配置的，难免有不合理的地方，欢迎建议和指正）

/home/hadoop/etc/hadoop/workers

slave1
slave2
slave3
slave4

/home/hadoop/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://master1:9000</value>
    </property>
</configuration>

/home/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/mnt/data/nameNode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/mnt/data/dataNode</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

/home/hadoop/etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.acl.enable</name>
        <value>0</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master1</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>20480</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>256</value>
    </property>
</configuration>

/home/hadoop/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>1536</value>
    </property>
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1536</value>
    </property>
    <property>
        <name>mapreduce.map.java.opts</name>
        <value>-Xmx1024M</value>
    </property>
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>3072</value>
    </property>
    <property>
        <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx2560M</value>
    </property>
</configuration>

2.3 运行，测试

先格式化hdfs：

~/hadoop/bin/hdfs namenode -format

然后就可以启动了：

~/hadoop/bin/start-all.sh

在master节点上指定jps命令，可以看到NameNode和ResourceManager：

hadoop@hadoop-master-1:~$ jps
506 Jps
30972 SecondaryNameNode
30716 NameNode
31231 ResourceManager

在slave上可以看到DataNode和NodeManager

hadoop@hadoop-slave-2:~$ jps
27072 DataNode
27219 NodeManager
16549 Jps

通过<master-ip>:9870可以打开HDFS的界面，用过<master-ip>:8088可以打开Hadoop的任务管理界面。

进行简单的测试，通过命令行创建目录，上传文件：

hadoop@hadoop-master-1:~$ ~/hadoop/bin/hdfs dfs -mkdir test_dir
hadoop@hadoop-master-1:~$ echo A test file. > test.txt
hadoop@hadoop-master-1:~$ ~/hadoop/bin/hdfs dfs -put test.txt test_dir
2019-12-30 09:52:57,146 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
hadoop@hadoop-master-1:~$ ~/hadoop/bin/hdfs dfs -ls test_dir
Found 1 items
-rw-r--r--   1 hadoop supergroup         13 2019-12-30 09:52 test_dir/test.txt

3. 补充

3.1 两个master节点

目前只创建了一台master节点。其实我也尝试了另创建一台master2，把ResourceManager跑在上面，但在运行start-all.sh或者start-yarn.sh之后，ResourceManager总是起不来，log里报错说无法bind address，port in use，到master2节点上执行start-yarn.sh没问题。但是这样做，还需要给master2也配一个floating IP，或者做端口转发。目前还没有使用master2的需求，所以还是把ResourceManager和SecondaryNameNode都跑在master1上，没有使用master2。

3.2 pydoop安装遇到的坑

项目要用到pydoop这个Python library，在Python中操作Hadoop。在安装pydoop时报错：

ValueError: hadoop home not found, try setting HADOOP_HOME

HADOOP_HOME环境变量实际上没有任何问题。

从stackoverflow上找到了解决方案：https://stackoverflow.com/questions/29645985/python-2-7-6-pydoop-installation-fail-on-ubuntu

sudo sh -c "export PATH=/home/hadoop/hadoop/bin:/home/hadoop/hadoop/sbin:$PATH; export HADOOP_HOME=/home/hadoop/hadoop; export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64; pip3 install pydoop"

可能是因为sudo没有继承当前的环境变量。

cyxueecust
关注
专栏目录
【Flink】SASL encryption trust check: localHostTrusted = false, remoteHostT
九师兄
01-18 3303
1.场景1 项目场景： 将Linux系统本地的~./bashrc文件上传到HDFS的text文件夹中 问题描述： 这个玩意是正常的 并不是报错 ./bin/hdfs dfs -put ~/.bashrc test 2021-09-17 10:24:22,037 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = ./bin/hdfs dfs
hadoop3.2+zookeeper集群搭建
liu137612432的博客
04-14 2582
hadoop3.2集群搭建 版本选择 JDK：jdk1.8.0_141 zookeeper：apache-zookeeper-3.5.9 hadoop：hadoop-3.2.3 我这里是本机虚拟机搭建，使用三个节点，分别是node01、node02、node03
hadoop基本操作-002
来一杯吧
10-24 1109
hadoop
Hadoop的平台的构建(伪分布式)
yanghuadong的博客
02-01 334
与 Linux 有众多发行版类似，Hadoop 也有很多发行版本，但基本上分为两类，即开源社区版和商业付费版。社区版是指由 Apache 软件基金会维护的版本，是官方维护的版本体系；商业版付费版是指由第三方商业公司在社区版 Hadoop 基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的稳定版本，比较著名的有 Cloudera 的 CDP、CDH、Hortonworks 的 Hortonworks Data Platform（HDP）、mapR 等。 在这些商业 Hadoop 发行版中，为了吸引
Pydoop 使用教程
最新发布
gitblog_00039的博客
08-16 520
Pydoop 使用教程 pydoopA Python MapReduce and HDFS API for Hadoop项目地址:https://gitcode.com/gh_mirrors/py/pydoop 项目介绍 Pydoop 是一个 Python 接口，用于与 Hadoop 进行交互，允许用户在纯 Python 环境中编写 MapReduce 应用程序并操作 HDFS（Hadoop 分...
hadoop的HDFS的shell命令大全（一篇文章就够了）
热门推荐
m0_43405302的博客
12-30 2万+
HDFS的shell命令 1、安全模式 安全模式：集群启动时，DN所有的DN都必须向MM汇报磁盘使用状态和block存储信息。在此之前出于对hdfs的保护，会禁止访问hdfs，此状态为安全模式 1.查看安全模式状态 #查看安全模式状态 hdfs dfsasmin --safemode get #-状态- on|off #----- 2.手工开启安全模式状态 #手工进入安全模式 hdfs dfsasmin --safemode enter 3.手工关闭安全模式状态 #手工退出安全模式 hdfs dfsas
sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTruste
weixin_44928129的博客
03-27 653
无视即可。
Hadoop3.2 集群搭建
多一份贡献,多一份环保
04-28 1029
Hadoop3.2 集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。 大猪 为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。 准备两台主机10.211.55.11、10.211.55.12 对应的hostname为m1.example.com、m2.e...
基于Hadoop3.2搭建大数据平台
03-19
搭建基于Hadoop3.2的大数据平台的过程通常包括以下步骤： 1. **环境准备**：首先，需要安装一个支持虚拟化的操作系统，例如Ubuntu 16.04，并配置好网络环境，包括主机名、静态IP地址、网关和DNS设置。 2. **JDK...
Hadoop3 集群搭建
weixin_42660202的博客
02-22 1874
Hadoop3集群
Hadoop配套资源，hadoop3.2 jdk1.8
05-25
标题中的“Hadoop配套资源，hadoop3.2 jdk1.8”表明这是一个与Hadoop 3.2版本相关的资源包，同时包含了Java开发工具集JDK的1.8版本。Hadoop是Apache软件基金会的一个开源项目，主要用于大数据处理和分析，而JDK则是...
hadoop hdfs常用shell命令
qq_43224174的博客
12-10 1868
仅供自己学习和大家参考 查看帮助命令 [lqs@bdc112 hadoop-3.1.3]$ bin/hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] .
hadoop-1单机模式和伪分布式和完全分布式存储
AwesomeWang7的博客
09-16 2359
hadoop大数据平台 hadoop属于底层的基础设施，一个生态当中的基础。hadoop起源于google的三大论文。GFS，MAPREDUCE和BIGTABLE。 hadoop名字来源是hadoop之父道卡廷儿子的毛绒玩具名。 我们所使用的是基于apache协议分发 常见的有三种，apache版本，cdh版本，hdp版本 本次就是要搭建一个hadoop框架，部署一个简单的大数据平台： hadoop的框架最核心的是hdfs和mapreduce，hdfs为海量数据提供存储。mapreduce为海量数据提供计算
Hadoop之计算框架Tez的基本使用
积跬步，至千里。
06-21 2276
Tez是支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG 作业的性能。
Hadoop3.x安装部署
weixin_45102492的博客
12-24 2873
一、安装部署 此处是单机版安装，我安装的使hadoop3.1.3，因为hadoop2.x和hadoop3.x的安装部署有些不同，所以记录一下 首先安装好jdk，并且准备好hadoop3.x的安装包，可以去官网下载 openssh安装，便于远程上传文件（每台主机都做） [root@node03 ~]# yum -y install openssh-clients 同步时间工具（每台主机都做） #安...
Hadoop怎么使用？Hadoop 3.2.1运行测试，快速学习操作指令。
Tristone的博客
12-31 3751
我安装的版本是Hadoop 3.2.1，操作系统平台是CentOS Linux 8，以下所有的操作都是在这个平台下运行的。 安装的方法参考：怎么在CentOS Linux 8上安装Hadoop？安装配置Hadoop的详细步骤 Hadoop面向客户的主要有3个模块：HDFS、YARN、MapReduce，我们将分别对这三个模块进行使用测试： HDFS使用测试 HDFS是Hadoop的分布式文件系统，...
简单的HDFS操作
qq_42582489的博客
03-10 3201
简单的HDFS操作 文章目录简单的HDFS操作HDFS常用Shell命令使用HDFS的Shell命令输出HDFS某一个目录下所有文件详细信息向HDFS中上传任意文本文件将HDFS中指定文件的内容输出到终端从HDFS中下载指定文件删除HDFS中指定的文件HDFS常用JavaAPI使用HDFS的JavaAPI创建工程并导入JAR包向HDFS上传任意文本文件从HDFS下载指定文件参考文章 HDFS常用S...
【Kafka】之 简介（一）
fanfan4569的博客
10-04 312
文章目录一、简介（1）问题1. 什么是 `Kafka`？2. `Kafka`核心功能是什么？3. `Kafka`有什么用？适用场景？4. `Kafka`有什么特性？ 一、简介 https://kafka.apache.org/intro （1）问题 1. 什么是 Kafka？ Apache Kafka® is a distributed streaming platform. Kafk...
hadoop hdfs记录踩到的坑
m0_46455711的博客
05-14 5436
研究了几天终于将hdfs的java api调用搞通了，其中的艰辛一度让我想要放弃，但最终让我坚持了下来。这几天的经验，不能不说是宝贵的，故记录下来，以防以后遗忘。我用的是版本2.10.0，你要问我为啥选择这个版本，我的回答是我也不知道，只知道官网上的下载列表第一个就是它。 1、下载 wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz 2、安装 我是采用Linux系统来安装的（windo
Spark 3.2.0版本特性与Hadoop 3.2集成详解
了解了 "spark-3.2.0-bin-hadoop3.2.tgz" 文件内容和结构，我们可以了解到该文件是用于搭建和运行在兼容Hadoop 3.2的Apache Spark环境的重要组件。在部署时，系统管理员需要确保服务器满足Spark运行的硬件和软件要求...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值