写给大忙人看Hadoop完全分布式集群搭建(2)

于 2024-05-02 01:29:24 发布
阅读量884 收藏 11
点赞数 12
分类专栏： 程序员 文章标签： 分布式 hadoop 大数据
原文链接：https://blog.csdn.net/heihaozi/article/details/103486958
版权

Hadoop一般有三种运行模式，分别是：

  • 单机模式（Standalone Mode），默认情况下，Hadoop即处于该模式，使用本地文件系统，而不是分布式文件系统。，用于开发和调试。

  • 伪分布式模式（Pseudo Distrubuted Mode），使用的是分布式文件系统，守护进程运行在本机机器，模拟一个小规模的集群，在一台主机模拟多主机，适合模拟集群学习。

  • 完全分布式集群模式（Full Distributed Mode），Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。

这里介绍的就是如何搭建一个Hadoop完全分布式集群。

安装环境介绍

准备了四个服务器，IP为192.168.0.236、192.168.0.237、192.168.0.238、192.168.0.239，其中192.168.0.236作为主节点，其他3个作为从节点。具体版本信息如下：

  • CentOS 7.4

  • JDK 8

  • Hadoop 2.10.0

准备安装环境

设置主机名

在各个服务器上修改对应的主机名：

#在192.168.0.236上执行：

hostnamectl set-hostname onemore-hadoop-master

#在192.168.0.237上执行：

hostnamectl set-hostname onemore-hadoop-slave1

#在192.168.0.238上执行：

hostnamectl set-hostname onemore-hadoop-slave2

#在192.168.0.239上执行：

hostnamectl set-hostname onemore-hadoop-slave3

关闭SELINUX

编辑/etc/selinux/config文件：

vi /etc/selinux/config

把

SELINUX=enforcing

修改为：

SELINUX=disabled

重启服务器

reboot

设置hosts

cat >> /etc/hosts <<EOF

192.168.0.236 onemore-hadoop-master

192.168.0.237 onemore-hadoop-slave1

192.168.0.238 onemore-hadoop-slave2

192.168.0.239 onemore-hadoop-slave3

EOF

关闭防火墙

停止防火墙

systemctl stop firewalld.service

禁止防火墙开机启动

systemctl disable firewalld.service

设置免密登录

分布式集群搭建需要主节点能够免密登录至各个从节点上。因此，需要在主节点上生成公钥，把将主节点的公钥在从节点中加入授权。

  1. 在192.168.0.236上生成公钥。

ssh-keygen -t rsa

  1. 在192.168.0.236上，把公钥发送到各个从节点

scp ~/.ssh/id_rsa.pub 192.168.0.237:~/.ssh

scp ~/.ssh/id_rsa.pub 192.168.0.238:~/.ssh

scp ~/.ssh/id_rsa.pub 192.168.0.239:~/.ssh

这时还不是免密登录登录的，需要输入用户名和密码。

  1. 将公钥追加到各个从节点的授权里。

在每个从节点执行一下命令：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

安装JDK

参见之前的《详解在Linux系统中安装JDK》，这里就不再赘述了。

Hadoop环境配置

主节点配置
下载Hadoop

从北京理工大学的镜像上下载Hadoop：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz

创建文件夹

mkdir /usr/local/hadoop

解压

tar -xzvf hadoop-2.10.0.tar.gz -C /usr/local/hadoop

配置环境变量

追加Hadoop的环境变量到/etc/profile文件中

cat >> /etc/profile <<EOF

#Hadoop

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.10.0

export PATH=$PATH:$HADOOP_HOME/bin

EOF

使环境变量生效

source /etc/profile

修改配置文件

修改core-site.xml配置文件

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/core-site.xml

修改其内容为：

hadoop.tmp.dir

file:/usr/local/hadoop/tmp

Abase for other temporary directories.

fs.defaultFS

hdfs://onemore-hadoop-master:9000

修改hdfs-site.xml配置文件

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/hdfs-site.xml

修改其内容为：

dfs.replication

3

dfs.name.dir

/usr/local/hadoop/hdfs/name

dfs.data.dir

/usr/local/hadoop/hdfs/data

复制mapred-site.xml.template为mapred-site.xml

cp /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml

再修改mapred-site.xml配置文件

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml

修改其内容为：

mapreduce.framework.name

yarn

mapred.job.tracker

http://onemore-hadoop-master:9001

修改yarn-site.xml配置文件

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/yarn-site.xml

修改其内容为：

最后

Java架构学习技术内容包含有：Spring，Dubbo，MyBatis, RPC, 源码分析，高并发、高性能、分布式,性能优化，微服务 高级架构开发等等。

还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书+2021年最新大厂面试题。
在这里插入图片描述

lue>yarn

mapred.job.tracker

http://onemore-hadoop-master:9001

修改yarn-site.xml配置文件

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/yarn-site.xml

修改其内容为：

最后

Java架构学习技术内容包含有：Spring，Dubbo，MyBatis, RPC, 源码分析，高并发、高性能、分布式,性能优化，微服务 高级架构开发等等。

还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书+2021年最新大厂面试题。
[外链图片转存中…(img-HNFMotU6-1714584546281)]

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

2401_84004024
关注
专栏目录
Hadoop完全分布式环境搭建
12-09
Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建
Hadoop完全分布式搭建
QiSorry
03-02 4901
文章目录前言一、虚拟机准备1. 可以正常上网2. ip为静态ip3. 安装必要的环境4. 关闭防火墙以及防火墙开机自启动5. 修改主机名及添加映射6. 创建用户7. 克隆另外两台虚拟机：hadoop102 hadoop103克隆 hadoop102更改 hadoop102 相关信息测试三台虚拟机是否可以相互通信二、Hadoop安装及相关配置1.引入库2.读入数据总结 前言 必备条件： 电脑内存最好8G以上 虚拟机ip为静态ip且可以 ping 通外网 提示：若满足以上条件，下面案例可供参考 一、虚.
hadoop完全分布式集群搭建
09-12
### Hadoop完全分布式集群搭建详解 #### 一、前言及环境准备 在开始搭建Hadoop完全分布式集群之前，需要确保已经准备好相应的硬件资源和软件环境。本篇指南旨在为初学者提供一个全面且详细的Hadoop集群搭建流程，...
hadoop2.8.4完全分布式集群搭建
07-22
本人搭建hadoop完全分布式集群时，写的文档，内有详细步骤，
Spark+hadoop+scala 完全分布式集群搭建过程及启动过程
07-08
对于想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整...
Hadoop完全分布式集群总结
01-07
文章目录Hadoop完全分布式集群搭建一、新建虚拟机二、规划集群与服务1、逻辑结构2、物理结构3、总结构三、配置集群1、主节点基础网络配置1.1、配置固定ip地址1.2、修改主机名1.3、配置dns1.4、配置 ip 地址和主机名...
hadoop完全分布式搭建
liyan_1013的博客
05-13 412
1、【配置三台机器的主机名】 vim /etc/hostname reboot 2、【在主机器上生成密匙】 ssh-keygen -t rsa 配置三台机器免密登录 ssh-copy-id -i root@localhost ssh-copy-id -i root@机器二 ssh-copy-id -i root@机器三 3、【配置jdk和hadoop】 export JAVA_HOME=/opt/soft/jdk export PATH=$PATH:$JAVA_HOME/bin export HA
inotify和rsync方便地构建文件级双机热备
云（存储），松（耦合）
04-28 2463
一、介绍Inotify 是文件级的事件监控机制，作为 dnotify 的有效替代。dnotify 是较早内核支持的文件监控机制。Inotify 是一种强大的、细粒度的、异步的机制，它满足各种各样的文件监控需要，不仅限于安全和性能。inotify 可以监视的文件系统事件包括：　　IN_ACCESS，即文件被访问　　IN_MODIFY，文件被 write　　IN
hadoop完全分布式环境搭建
chabale的专栏
04-16 4737
第一步：            配置集群服务器的配置：vi/etc/hosts                    10.1.40.100  master                    10.1.40.101  slave1                    10.1.40.102  slave2                    同时需要将主机名的ip配置改成服务器
Hadoop2.完全分布式搭建
海涛高软
05-03 677
虚拟机版本：VM15 Linux系统： CentOS6.5 其它工具：Xshell WinSCPSecureCRT 8.5 关于局域网配置 、主机名映射 、上网 、免密配置 、jdk安装 、环境变量配置 ，参考下面这篇文章 https://blog.csdn.net/qq_15267341/article/details/89630802 vi /et...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值