Hadoop 之 HDFS 分布式集群配置与使用（三）

已于 2023-08-03 00:59:05 修改
阅读量607 收藏 2
点赞数
分类专栏： Hadoop 文章标签： 分布式 hadoop 大数据 jdk hdfs
于 2023-07-17 02:00:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42176639/article/details/131754502
版权

Hadoop 之 分布式集群

一.集群实例创建

以三个 Hadoop 实例创建集群，可以用虚拟机，或者Docker容器来实现。本教程直接使用虚拟机演示
集群架构可参考下图：客户端、命名节点和数据节点

在这里插入图片描述

查看 Hadoop 配置文件目录：ll $HADOOP_HOME/etc/hadoop

在这里插入图片描述

Hadoop 基本概念与含义
名称含义
HDFSHadoop Distributed File System，Hadoop 分布式文件系统的简称
NameNode指挥其它节点存储的节点，用于映射文件在集群存储的位置
Secondary NameNode副命名节点，用于备份命名节点数据，并协助命名节点进行管理工作；命名节点崩溃后可以用来恢复其数据，可以有多个
DataNode用来储存数据块的节点，HDFS基础存储单位，受命名节点协调管理
core-site.xmlHadoop 核心配置
hdfs-site.xmlHDFS 配置项
mapred-site.xmlMapReduce 配置项，映射和规约，对大型任务分治处理
yarn-site.xmlYARN 配置项
workers记录所有的数据节点的主机名或 IP 地址

二.配置

1.创建三个虚拟机（Anolis）

虚拟机名称地址Host Name
hadoop_1192.168.1.6nn
hadoop_2192.168.1.7nd1
hadoop_3192.168.1.8nd2

在这里插入图片描述

1.修改 HostName

## 修改 192.168.1.6 服务器
hostnamectl set-hostname nn
echo "192.168.1.7 nd1" >> /etc/hosts
echo "192.168.1.8 nd2" >> /etc/hosts
## 修改 192.168.1.7 服务器
hostnamectl set-hostname nd1
echo "192.168.1.6 nn" >> /etc/hosts
echo "192.168.1.8 nd2" >> /etc/hosts
## 修改 192.168.1.8 服务器
hostnamectl set-hostname nd2
echo "192.168.1.6 nn" >> /etc/hosts
echo "192.168.1.7 nd1" >> /etc/hosts

以 192.168.1.6 为例

在这里插入图片描述

2.配置免密登录，配置前

ssh root@nd1

在这里插入图片描述

## 修改 192.168.1.6 服务器
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
ssh-copy-id -i ~/.ssh/id_rsa root@nd1
ssh-copy-id -i ~/.ssh/id_rsa root@nd2
## 修改 192.168.1.7 服务器
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
ssh-copy-id -i ~/.ssh/id_rsa root@nn
ssh-copy-id -i ~/.ssh/id_rsa root@nd2
## 修改 192.168.1.8 服务器
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
ssh-copy-id -i ~/.ssh/id_rsa root@nn
ssh-copy-id -i ~/.ssh/id_rsa root@nd1
## 分别配置本地登录
ssh-copy-id -i ~/.ssh/id_rsa root@localhost

以 192.168.1.6为例，免密访问 nd1

在这里插入图片描述

2.配置命名节点

1.在 nd1 / nd2 部署 hadoop

## 解压文件
mkdir -p /usr/local/java
mkdir -p /usr/local/hadoop
tar zxvf jdk-11.0.19_linux-x64_bin.tar.gz -C /usr/local/java/
tar zxvf hadoop-3.3.6.tar.gz -C /usr/local/hadoop/
## 设置环境变量
echo 'export JAVA_HOME=/usr/local/java/jdk-11.0.19' >> /etc/profile
echo 'export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH' >> /etc/profile
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile
echo 'export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.6' >> /etc/profile
echo 'export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin' >> /etc/profile
source /etc/profile

2.配置

## 1.进入
cd $HADOOP_HOME/etc/hadoop
## 2.修改配置 core-site.xml
vim core-site.xml
## 增加如下信息
   <property>
       <name>hadoop.http.staticuser.user</name>
       <value>root</value>
   </property>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://nn:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///home/hadoop/tmp</value>
    </property>
## 3.修改配置 hdfs-site.xml
vim hdfs-site.xml
## 增加如下信息
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///home/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>file:///home/hadoop/hdfs/data</value>
    </property>
## 4.修改配置 yarn-site.xml
vim yarn-site.xml
## 增加如下信息
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>nn</value>
    </property>
## 5.修改配置 mapred-site.xml
vim mapred-site.xml
## 增加如下信息
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
	  <name>yarn.app.mapreduce.am.env</name>
	  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
	  <name>mapreduce.map.env</name>
	  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
	  <name>mapreduce.reduce.env</name>
	  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
## 6.修改配置 workers
vim workers
## 增加如下信息
nn
nd1
nd2
## 7.将以上两个文件从 nn 复制到 nd1/nd2
scp core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml hadoop-env.sh workers root@nd1:$HADOOP_HOME/etc/hadoop
scp core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml hadoop-env.sh workers root@nd2:$HADOOP_HOME/etc/hadoop

core-site.xml

在这里插入图片描述

hdfs-site.xml

在这里插入图片描述

yarn-site.xml

在这里插入图片描述

mapred-site.xml

在这里插入图片描述

workers

在这里插入图片描述

## 格式化命名节点：$HADOOP_HOME/etc/hadoop
hdfs namenode -format
## 启动服务
start-dfs.sh

格式化结果

在这里插入图片描述

启动结果

在这里插入图片描述

## 启动 Yarn
start-yarn.sh

在这里插入图片描述

3.查看集群信息

集群信息：http://192.168.1.6:9870/dfshealth.html#tab-datanode

在这里插入图片描述

在 Windows 访问 http://nd1:9864 要关虚拟机防火墙，并添加 Host 解析，此处直接通过 IP 地址打开

在这里插入图片描述

Yarn 信息：http://192.168.1.6:8088/cluster

在这里插入图片描述

三.测试

1.Shell 命令

## 上传文件
hadoop fs -put /home/test.txt /log/
## 查看文件
hadoop fs -cat /log/test.txt

在这里插入图片描述

2.Java & MapReduce

Apache Hadoop 官网

单词统计代码

package org.example.controller;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;
import java.util.StringTokenizer;

/**
 * @author Administrator
 * @Description
 * @create 2023-07-17 23:22
 */
public class WordCount {

    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context
        ) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer
            extends Reducer<Text,IntWritable,Text,IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values,
                           Context context
        ) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

}


测试类，测试地址：http://127.0.0.1:8080/test/wordCount

package org.example.controller;

import jakarta.annotation.PostConstruct;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.io.IOException;

/**
 * @author Administrator
 * @Description
 * @create 2023-07-13 23:19
 */
@RestController
@RequestMapping("/test")
public class TestController {

    @PostConstruct
    public void init(){
        System.setProperty("HADOOP_USER_NAME","root");
    }

    @GetMapping("/wordCount")
    public void wordCount() throws IOException, InterruptedException, ClassNotFoundException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.1.6:9000");
        // 打开文件并读取输出
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(WordCount.TokenizerMapper.class);
        job.setCombinerClass(WordCount.IntSumReducer.class);
        job.setReducerClass(WordCount.IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path("/testData"));
        FileOutputFormat.setOutputPath(job, new Path("/output"));
        boolean result = job.waitForCompletion(true);
        // System.exit(result ? 0 : 1);
        // 打开文件并读取输出
        FileSystem fs = FileSystem.get(conf);
        Path path = new Path("/output/part-r-00000");
        FSDataInputStream ins = fs.open(path);
        StringBuilder builder = new StringBuilder();
        int ch = ins.read();
        while (ch != -1) {
            builder.append((char)ch);
            ch = ins.read();
        }
        System.out.println(builder.toString());
    }
}

测试结果

在这里插入图片描述

在这里插入图片描述

猪悟道
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop集群的搭建和配置
BXMMJ的博客
02-04 1004
hadoop运行环境的搭建、配置文件的修改、ssh免密登录、完全分布式的搭建、分发脚本xsync编写、集群的群起关的脚本...
HDFS完全分布式集群搭建与配置及常见问题总结
m0_68434051的博客
09-16 686
HDFS完全分布式集群搭建与配置
HDFS集群搭建
qq_37436172的博客
05-05 952
在已经启动单机版hdfs的基础上进行 1.准备三台虚拟机（以完成网络配置，主机名配置，主机域名映射,防火墙关闭并关闭重启，ssh免密，安装JDK等等） 2.在node01上安装Hadoop，配置环境变量（修改和配置一些文件，修改时一定小心错一个字母就会失败。） 3.同步配置信息（把在node01上修改的配置文件同步到node02和node03上） 4.在node01上格式化，并启动集群。 5.用jps查看启动情况，并测试上传下载是否能成功。在web端查看
HDFS完全分布式集群搭建与配置
Aricya的博客
11-09 4163
(1)防火墙设置:为了防止发生一些奇奇怪怪的错误，请务必关闭所有节点的防火墙，他可能会导致浏览器无法获取集群信息和文件上传集群失败环境搭建，还有通过.start-dfs.sh命令启动集群失败的很大一个原因就是服务器防火墙未关闭的原因。(2)hosts文件配置和主机名:因为这是完全分布式的集群，所以配置hosts文件至关重要，不然你的私钥配置和以后节点的格式化都会出错，他将会提示你无法解析主机名.(3)将配置好的HDFS拷贝到其他节点时注意路径问题。
大数据开源框架环境搭建(四)——HDFS完全分布式集群的安装部署
木子一个Lee的博客
02-17 2801
普通用户下大部分命令需要加sudo，root模式下不用。如果怕麻烦，直接在root用户下操作。本框架的分布式集群如下图所示(IP地址不一定跟图中一样)
HDFS简介与部署
难得糊涂
04-09 3990
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。
hadoop全分布式集群配置
06-14
Hadoop实现了一个分布式文件系统...本课程讲解搭建hadoop集群的全过程,从安装vmware,centos开始,从本地模式,伪分布式到全分布式,讲解实现经典案例wordcount结束,全方位讲解hadoop的操作细节,带你完成hadoop的安装和入门
hadoop的伪分布式模式配置与安装伪分布式模式
11-26
在学习和测试Hadoop时，我们通常会采用伪分布式模式，它在单个节点上模拟整个Hadoop集群，既保留了分布式特性，又简化了配置过程。以下将详细介绍如何在Linux环境中配置和安装Hadoop的伪分布式模式。 首先，确保你...
Hadoop分布式配置文件hdfs-site.xml
最新发布
06-21
Hadoop分布式配置文件hdfs-site.xml，用于在搭建Hadoop分布式集群时，设置集群规划所用，集群中虚拟机都需要修改该配置文件，除此之外，还需要修改其他配置文件，包括core-site.xml、mapred-site.xml和yarn-site.xml...
Hadoop搭建完全分布式集群
12-11
本篇文章将深入探讨如何搭建一个完整的Hadoop分布式集群，特别关注Java编程环境下的配置和操作。 首先，我们需要理解Hadoop的架构。Hadoop由两个主要组件构成：Hadoop Distributed File System (HDFS) 和 MapReduce...
大数据之hadoop分布式集群参数配置.docx
06-21
Hadoop分布式集群参数配置 Hadoop分布式集群参数配置是大数据处理中不可或缺的一部分。本文将详细介绍Hadoop分布式集群参数配置的过程，包括master节点和slave节点的配置。 一、Hadoop分布式集群参数配置概述 ...
【云平台技术】Hadoop全分布式安装与配置
qq_51941741的博客
06-29 9597
目录 一、虚拟机安装 1、创建虚拟机 2、虚拟机启动初始化 二、 虚拟机克隆 三、Linux系统的网络配置 1、准备工作 2、 主机名和IP映射 2.1 配置主机名 2.2 配置IP映射 3、网络参数配置 四、SSH服务配置 1、生成密钥文件 2、将本机公钥文件复制到其他虚拟机上 五、JDK安装和Hadoop安装 1、准备安装包 2、下载安装软件Xshell 3、安装JDK（所有虚拟机都要操作） 3.1 传输文件 3.2 解压JDK 3.3 重命名JDK
【大数据】Hadoop完全分布式配置（超详细）
X10的博客
01-03 4936
Hadoop完全分布式配置-具体步骤如下默认前提：1.在Windows平台下安装Vmware平台（默认已经安装）2.在Vmware平台上安装Linux操作系统（默认已经安装）这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档，centos7的命令与其不同。如修改主机名、关闭防火墙等centos7无法连接Xshell的情况。
理解Hadoop配置文件
qq_27896233的博客
06-27 689
理解Hadoop配置文件
搭建hadoop集群（hdfs和yarn）
weixin_40283268的博客
04-07 360
3、创建环境搭建目录，并设置权限给hadoop用户（3台均配置）步骤1-3使用root用户，步骤4以后使用hadoop用户。10、初始并启动hdfs集群（只需在hadoop01上操作）访问http://192.168.137.101:9870/1、配置主机名和域名，开通防火墙端口。2、创建用户和用户组（3台均配置）6、安装hadoop（3台均配置）4、ssh免密登录（3台均配置）7、配置文件修改（3台均配置）8、配置环境变量（3台均配置）5、安装jdk（3台均配置）9、创建hdfs存储文件路径。
Hadoop大数据应用：Linux 部署 HDFS 分布式集群_linux操作hdfs
2401_83947434的博客
04-17 853
（需要修改环境配置文件hadoop-env.sh 申明JAVA安装路径和hadoop配置文件路径）另外官网默认是file ，使用的是本地文件目录。datanode节点查看（node01）datanode节点查看（node02）datanode节点查看（node03）查看日志（新生成logs目录）（10）修改HDFS配置文件。（9）查看HDFS配置文件。（6）修改节点配置文件。（8）修改核心配置文件。（12）初始化hdfs。（14）格式化hdfs。（18）web页面验证。(6) 查看命令比较。
Hadoop集群相关操作
qq_61662476的博客
12-27 373
Hadoop，HDFS和HBase和HIVE运用
HDFS中将普通用户增加到超级用户组supergroup以及其应用场景
热门推荐
冯立彬的博客
08-31 2万+
Hadoop平台会集成不同的组件，如hdfs、yarn、hive等，不同用户的操作权限不同，除了hdfs是超级用户以外，其它用户都默认是普通用户权限，但是有些场景之下，我们希望普通具有具有hdfs的超级权限，如我oozie中调试shell任务，其中shell调用sqoop从数据中导入数据到hive中，其后会通过Yarn来执行MapReduce这么一个过程，不过Yarn在执行的时候，会在hdfs的/...
3. HDFS分布式文件系统
shield911的博客
10-15 2977
HDFS分布式文件系统介绍
Hadoop集群中的HDFS分布式文件系统详解
"大数据课程-Hadoop集群程序设计与开发-3.HDFS分布式文件系统_lk_edit.pptx" 本文档详细介绍了Hadoop集群程序设计与开发中的核心组件——HDFS(Hadoop Distributed File System)分布式文件系统。HDFS是大数据处理的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猪悟道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值