2022-07-01 Hadoop概述、搭建完全分布式(非高可用)

置顶 已于 2022-08-31 08:45:54 修改
阅读量485 收藏
点赞数
分类专栏： 大数据学习 文章标签： hadoop 分布式 大数据
于 2022-07-01 22:15:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/d___h/article/details/125551482
版权

准备资源：VMware、CentOS7镜像文件、XShell7、JDK1.8、hadoop-3.1.3

一、Hadoop概述

  1. Hadoop组成
    在这里插入图片描述
  2. HDFS架构概述
    在这里插入图片描述
    (1) NameNode: 存储文件的元数据以及每个文件的快列表和块所在的DataNode;
    (2)DataNode: 存储文件块数据以及校验和；
    (3) Secondary NameNode: 每隔一段时间对NameNode元数据进行备份；
  3. Yarn架构概述
    在这里插入图片描述
    (1) ResourceManager: 管理整个集群的资源
            a. 接受客户端的请求；
            b. 资源分配调度；
            c. 监控NodeManager；
            d. 启动或监控AppMaster；
    (2) NodeManager: 管理单个节点的资源
            a. 管理单个节点上的资源；
            b. 处理来自ResourceManager的命令；
            c. 处理来自AppMaster的命令；
    (3) AppMaster: 一个job会对应开启一个AppMaster
            a. 负责数据的切片；
            b. 任务的监控和容错；
            c. 为应用程序申请资源，并将申请到的资源分配给内部的任务；
    (4) Container: 计算机资源的抽象表示
  4. MapReduce架构概述
    在这里插入图片描述

二、准备模板机

  1. 安装VMWare
  2. 打开VM，点击创建新的虚拟机
    在这里插入图片描述
  3. 选择自定义
    在这里插入图片描述
  4. 选择稍后安装操作系统
    在这里插入图片描述
  5. 设置客户机操作系统为Linux，版本为CentOS 7 64位
    在这里插入图片描述
  6. 设定虚拟机名称为base，自定义安装位置
    在这里插入图片描述
  7. 设定处理器内核总数，要求处理器内核总数 <= 物理机逻辑内核总数
    在这里插入图片描述
    物理机逻辑内核总数可以在任务管理器中查看：
    在这里插入图片描述
  8. 设定虚拟机内存
    在这里插入图片描述
  9. 选择NAT
    在这里插入图片描述
  10. 选择创建新虚拟磁盘
    在这里插入图片描述
  11. 自定义磁盘大小
    在这里插入图片描述
  12. 选择磁盘文件的存放位置
    在这里插入图片描述
  13. 选择安装的镜像文件
    在这里插入图片描述
  14. 开启虚拟机，开始安装
    在这里插入图片描述
  15. 选择语言
    在这里插入图片描述
  16. 设定日期和时间
    在这里插入图片描述
  17. 手动配置分区
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  18. 开始安装
    在这里插入图片描述
  19. 设置root用户密码
    在这里插入图片描述
  20. 安装好之后进行重启，使用root账号登录
    在这里插入图片描述
    在这里插入图片描述
  21. 设置静态IP
    (1) 记录网卡配置信息
            a. VM工具栏，编辑=>虚拟网络编辑器
            b. 点击更改设置
    在这里插入图片描述
            c. 记录子网IP、子网掩码、网关
    在这里插入图片描述
    (2) 打开网卡文件
    vi /etc/sysconfig/network-scripts/ifcfg-ens33
    (3) 配置网卡
    # 需要进行修改的配置项
BOOTPORTO=static
ONBOOT=yes

# 末尾需要添加的配置项
# IP地址
IPADDR=192.168.159.100
# 子网掩码
NETMASK=255.255.255.0
# 网关
GATEWAY=192.168.159.2
# 域名解析，和网关一样就行
DNS1=192.168.159.2
    (4) 保存退出，重启网卡服务
    # 重启网卡
systemctl restart network

# 查看IP地址
ip addr
    在这里插入图片描述
  22. 使用XShell工具连接虚拟机
    (1) 修改物理机hosts文件，添加主机名和IP的映射关系
    # hosts文件地址：C:\Windows\System32\drivers\etc\hosts
# 添加内容为
192.168.159.100 hadoop100
192.168.159.101 hadoop101
192.168.159.102 hadoop102
192.168.159.103 hadoop103
192.168.159.104 hadoop104
192.168.159.105 hadoop105
192.168.159.106 hadoop106
192.168.159.107 hadoop107
192.168.159.108 hadoop108
    (2) 打开XShell，新建会话
    在这里插入图片描述
    或者
    在这里插入图片描述
    (3) 配置XShell
    在这里插入图片描述
    在这里插入图片描述
    (4) 连接
    在这里插入图片描述
  23. 关闭虚拟机防火墙
    systemctl stop firewalld.service & systemctl disable firewalld.service
  24. 新建普通用户并赋予该用户root权限
    (1) 新建普通用户
    useradd soro
echo "123456" | passwd soro --stdin
    (2)赋予该用户root权限
    # 打开sudoers文件
vi /etc/sudoers
# 来到第92行，另起一行，添加如下内容
soro    ALL=(ALL)       NOPASSWD:ALL
# 强制保存退出
  25. 安装常用工具
    yum install -y epel-release psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git
  26. 修改主机名、hosts
    (1) 修改主机名
    echo "hadoop100" > /etc/hostname
    (2) 修改hosts
    # 打开hosts文件
vim /etc/hosts

# 末尾添加如下内容
192.168.159.100 hadoop100
192.168.159.101 hadoop101
192.168.159.102 hadoop102
192.168.159.103 hadoop103
192.168.159.104 hadoop104
192.168.159.105 hadoop105
192.168.159.106 hadoop106
192.168.159.107 hadoop107
192.168.159.108 hadoop108
  27. 创建目录
    mkdir -p /opt/moudle /opt/software & chown -R soro:soro /opt/moudle /opt/software
  28. 重启后关机
    # 重启
reboot

# 关机
poweroff

三、准备集群环境

  1. 将模板机克隆三台(克隆一台为例)
    (1) 右键模板机=>管理=>克隆
    (2) 选择创建完整克隆
    在这里插入图片描述
    (3) 设定虚拟机名称和安装位置
    在这里插入图片描述
    (4) 点击完成，等待克隆
  2. 将克隆的三台虚拟机的hostname和IPADDR分别修改为：hadoop101、hadoop102、hadoop103和192.168.159.101、192.168.159.102、192.168.159.103，重启使配置生效
  3. XShell连接，用户使用普通用户soro
  4. 安装Java并配置环境变量
    (1) 向hadoop101上传jdk-8u212-linux-x64.tar.gz，置于/opt/software
    (2) 解压安装
    cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../moudle/
    (3)配置环境变量
    # 创建环境变量文件
sudo vim /etc/profile.d/my-env.sh

# 在my-env文件中添加如下内容：
# Java环境变量
export JAVA_HOME=/opt/moudle/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
  5. 安装Hadoop并配置环境变量
    (1) 向hadoop101上传hadoop-3.1.3.tar.gz，置于/opt/software
    (2) 解压安装
    cd /opt/software
tar -zxvf hadoop-3.1.3.tar.gz -C ../moudle
    (3) 配置环境变量
    sudo vim /etc/profile.d/my-env.sh

# 在my-env文件中添加如下内容：
# Hadoop环境变量
export HADOOP_HOME=/opt/moudle/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  6. 免密配置(以hadoop101为例)
    (1) 生成公钥和私钥
    ssh-keygen -t rsa
    (2) 将公钥拷贝到需要免密登录的机器上
    # 每一台虚拟机都需要：
ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103

# 只有hadoop101需要：
su - root
ssh-keygen -t rsa
ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103
exit
  7. 在hadoop101上准备常用脚本
    (1) 家目录下创建文件夹
    cd ~
mkdir -p bin
# 在bin目录下创建machines.conf配置文件
# 该配置文件中存储了以下脚本要远程操作的机器
vim bin/machines.conf


# 将脚本所在机器的主机名或者IP地址写到最后一行
# 这样可以确保所有机器都有执行以下脚本命令的机会
# 以后需要修改机器数时，只需要修改配置文件即可
# 但是确保最后一行永远是本机的主机名或者IP地址
# 本文中需要存储的机器为，
hadoop102
hadoop103
hadoop101
    (2) 分发同步脚本
    # 创建脚本文件
vim bin/xrsync.sh

# 脚本内容如下
#!/bin/bash

if [[ $# -eq 0 ]]
then
        echo "usage: xrsync.sh files-or-folders"
        exit
fi

confFile=$(cd /home/$USER/bin;pwd)'/machines.conf'
if [[ ! -f $confFile ]]
then
        echo "配置文件：$confFile不存在"
        exit
fi

for host in $(cat $confFile)
do
        if [[ $host != $(hostname) && $(ping -c1 -W1 $host &>/dev/null;echo $?) -eq 0 ]]
        then
                echo "==========transfer to $host=========="
                for file in $@
                do
                        if [[ -e $file ]]
                        then
                              pdir=$(cd -P $(dirname $file); pwd)
                              fname=$(basename $file)
                              ssh $host "mkdir -p $pdir"
                              rsync -av $pdir/$fname $host:$pdir
                        fi
                done
        else
                if [[ $host != $(hostname) ]]
                then
                        echo "======transfer false: $host net err======"
                fi
        fi
done


# 赋予执行权限
chmod u+x bin/xrsync.sh
    (3) 批量操作虚拟机脚本
    # 创建脚本文件
vim bin/xcall.sh

# 脚本内容如下
#!/bin/bash
if [[ $# -eq 0 ]]
then
        echo 'usage: xcall.sh cmds'
        exit
fi

confFile=$(cd /home/$USER/bin;pwd)'/machines.conf'
if [[ ! -e $confFile ]]
then
        echo "配置文件：$confFile不存在"
        exit
fi


for host in $(cat $confFile)
do
        if [[ $(ping -W1 -c1 $host &>/dev/null;echo $?) -eq 0 ]]
        then
                echo "----------$host----------"
                ssh $host "$*"
        else
                echo "$hosr net err"
        fi
done


# 赋予执行权限
chmod u+x bin/xcall.sh
  8. 同步文件
    (1) 同步moudle下的jdk和hadoop
    xrsync.sh /opt/moudle
    (2) 同步my-env文件
    # 切换到root，继承soro的环境变量
su
# 分发文件
xrsync.sh /etc/profile.d/my-env.sh
# 使配置文件生效
xcall.sh source /etc/profile
# 退出
exit

四、搭建完全分布式(非高可用)

每一个配置项，务必name一行、value紧贴在下一行，否则之后编写的脚本无法使用

  1. 修改hadoop101上的hadoop配置文件，所有的配置都在configuration标签下

    # 来到配置目录下
cd /opt/moudle/hadoop-3.1.3/etc/hadoop

    (1)core-site.xml

    <configuration>
	<!-- 指定NameNode的地址，端口号也可以是8020和9000 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop101:9820</value>
	</property>
	<!-- 指定hadoop数据的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/moudle/hadoop-3.1.3/data</value>
	</property>
	<!-- 配置HDFS网页登录使用的静态用户为soro-->
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>soro</value>
	</property>
	<!-- 配置该soro(superUser)允许通过代理访问的主机节点 -->
	<property>
		<name>hadoop.proxyuser.soro.hosts</name>
		<value>*</value>
	</property>
	<!-- 配置该soro(superUser)允许通过代理用户所属组 -->
	<property>
		<name>hadoop.proxyuser.soro.groups</name>
		<value>*</value>
	</property>
	<!-- 配置该soro(superUser)允许通过代理的用户-->
	<property>
		<name>hadoop.proxyuser.soro.groups</name>
		<value>*</value>
	</property>
</configuration>

    (2)hdfs-site.xml

    <configuration>
	<!-- nn web端访问地址-->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop101:9870</value>
	</property>
	<!-- 2nn web端访问地址-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hadoop103:9868</value>
	</property>
</configuration>

    (3)yarn-site.xml

    <configuration>
	<!-- 指定MR走shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 指定ResourceManager的地址-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop102</value>
	</property>
	<!-- 环境变量的继承 -->
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>

	<!-- yarn容器允许分配的最大最小内存 -->
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>512</value>
	</property>
	<property>
		<name>yarn.scheduler.maximum-allocation-mb</name>
		<value>4096</value>
	</property>

	<!-- yarn容器允许管理的物理内存大小 -->
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>4096</value>
	</property>

	<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
	<property>
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
	<!-- 开启日志聚集功能 -->
	<property>
 	   <name>yarn.log-aggregation-enable</name>
 	   <value>true</value>
	</property>
	<!-- 设置日志聚集服务器地址 -->
	<property>  
		<name>yarn.log.server.url</name>  
  	  	<value>http://hadoop101:19888/jobhistory/logs</value>
	</property>
	<!-- 设置日志保留时间为7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
   		<value>604800</value>
	</property>
</configuration>

    (4)mapred-site.xml

    <configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!-- 历史服务器端地址 -->
	<property>
    	<name>mapreduce.jobhistory.address</name>
    	<value>hadoop101:10020</value>
	</property>
	<!-- 历史服务器web端地址 -->
	<property>
    	<name>mapreduce.jobhistory.webapp.address</name>
    	<value>hadoop101:19888</value>
	</property>
</configuration>

    (5)workers

    hadoop101
hadoop102
hadoop103

  2. 分发配置文件

    xrsync.sh /opt/moudle/hadoop-3.1.3/etc/hadoop/

  3. 启动集群
    (1) 启动命令：

    语法																说明
hdfs --daemon start/stop namenode/datanode/secondarynamenode	单独启动/停止HDFS组件
yarn --daemon start/stop  resourcemanager/nodemanager			单独启动/停止YARN
start-dfs.sh/stop-dfs.sh										整体启动/停止HDFS
start-yarn.sh/stop-yarn.sh										整体启动/停止YARN

    (2) 启停脚本

    # 可放置在任何机器上
# 创建脚本文件
vim ~/bin/hadoop.sh

# 脚本内容如下：
#!/bin/bash
if [[ $# -ne 1 ]]
then
        echo "usage: hadoop.sh start|stop|format"
        exit
fi

case $1 in
"format"|"start"|"stop")
        num=$(cat -n $HADOOP_HOME/etc/hadoop/core-site.xml | tr -s ' \t' | awk '/defaultFS/{print $1+1}')
        namenodeHost=$(cat -n $HADOOP_HOME/etc/hadoop/core-site.xml | tr -s ' \t' | awk -vnum=$num 'FNR==num{print $2}' | awk -F'[:/]' '{print $4}')

        num=$(cat -n $HADOOP_HOME/etc/hadoop/yarn-site.xml | tr -s ' \t' | awk '/yarn.resourcemanager.hostname/{print $1+1}')
        resourcemanagerHost=$(cat -n $HADOOP_HOME/etc/hadoop/yarn-site.xml | tr -s ' \t' | awk -vnum=$num 'FNR==num{print $2}' | awk -F'[><]' '{print $3}')

        num=$(cat -n $HADOOP_HOME/etc/hadoop/mapred-site.xml | tr -s ' \t' | awk '/mapreduce.jobhistory.address/{print $1+1}')
        historyserverHost=$(cat -n $HADOOP_HOME/etc/hadoop/mapred-site.xml | tr -s ' \t' | awk -vnum=$num 'FNR==num{print $2}' | awk -F'[><:]' '{print $3}')
        if [[ $1 == "format" ]]
        then
                for host in $(cat $HADOOP_HOME/etc/hadoop/workers)
                do
                        ssh $host 'rm -rf $HADOOP_HOME/data $HADOOP_HOME/logs'
                done
                ssh $namenodeHost 'hdfs namenode -format'
        elif [[ $1 == "start" ]]
        then
                ssh $namenodeHost 'start-dfs.sh'
                ssh $resourcemanagerHost 'start-yarn.sh'
                ssh $historyserverHost 'mapred --daemon start historyserver'
        else
                ssh $namenodeHost 'stop-dfs.sh'
                ssh $resourcemanagerHost 'stop-yarn.sh'
                ssh $historyserverHost 'mapred --daemon stop historyserver'
        fi
;;
*)
        echo 'usage: hadoop.sh format|start|stop'
;;
esac

# 赋予执行权限
chmod u+x ~/bin/hadoop.sh

    (3) 格式化并启动

    # 格式化
hadoop.sh format

# 启动
hadoop.sh start

# 查看启动情况
xcall.sh jps

  4. 查看网页端：

    Web查看目标			访问网址
NameNode			http://hadoop101:9870
Resource Manager	http://hadoop102:8088
历史服务器			http://hadoop101:19888/jobhistory

  5. 运行官方案例WordCount

    # hdfs中存在/input目录，且该目录中有内容
# hdfs中不存在/output目录
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

  6. 停止集群

    hadoop.sh stop
D___H
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建
12-03 783
1、Standalone mode（独立模式） 独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。2、Pseudo-Distributed mode（伪分布式模式） 伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。3、Cluster mode（集群模式）-单Namenode节点模式-高可用HA模式 集群模式主要用于生产环境部署。会使用N台主机组成一个H
Hadoop集群搭建（非高可用）
Cc_DaGe的博客
12-24 410
非高可用集群搭建 第一部分环境准备 =============================================================================== 1. 安装好linux 2. *安装VMTools 3. 关闭防火墙 sudo service iptables stop sudo chkconfig ipt...
Hadoop学习-2-Hadoop集群部署（非高可用）
DMF363的博客
11-28 138
Hadoop分布式部署
k8s非高可用环境搭建
m0_49654228的博客
05-21 302
k8s非高可用环境搭建 文章目录k8s非高可用环境搭建环境准备集群信息1.节点规划2.修改hostname3.添加hosts解析4.调整系统配置5.安装docker部署kubernetes1.安装kubernetes，kubelet和kubectl2.初始化配置文件3.下载镜像4.初始化master节点5.添加slave节点到集群中6.安装flannel插件7.设置master节点是否可调度8.验证集群9.部署dashboard仪表盘 环境准备 准备三台机器 配置好网络，内网互通，可通外网 同步时间 集群
部署非高可用的k8s
Neko的博客
03-16 160
部署非高可用的k8s 一、设置免密 1.编写/etc/hosts 文件 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 10.9.29.106 k8s-master 10.9.29.105 k8s-node1 10.9.29.107 k8s-n
Hadoop完全分布式详细安装图解教程
07-05
1. **Hadoop概述**：Hadoop是基于Java的分布式计算框架，由Apache软件基金会开发，其核心包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS提供高容错、高吞吐量的数据存储，而MapReduce则负责大规模...
Hadoop完全分布式安装及相关教程附程序包
10-10
通过这个完全分布式安装教程，你将能够搭建一个功能完备的Hadoop集群，进一步学习和实践大数据处理技术。提供的软件包中包含了所有必要的工具和文档，帮助你顺利完成整个安装过程。记得在实践中不断探索和优化，以更...
hadoop 集群搭建
04-17
### Hadoop 2.2 完全分布式环境搭建详解 #### 一、概述 Hadoop 是一个能够对大量数据进行分布式处理的软件框架，而 Hadoop 2.2 版本则是该系列中的一个成熟版本，它引入了重大的架构改进，特别是针对资源管理和数据...
Hadoop大数据开发实战-教学大纲.pdf
10-30
课程围绕Hadoop生态系统，让学生掌握搭建Hadoop完全分布式集群、HDFS操作、MapReduce编程等关键技能，为未来大数据行业的工作和进一步学习打下坚实基础。 二、课程目标与任务 1. 理解大数据的概念和背景，熟悉...
Hadoop大数据开发基础-教学大纲.pdf
10-30
Hadoop是大数据处理领域的重要框架，其设计理念是提供高可用性、高容错性和可扩展性，使得企业能够处理海量的数据。本课程旨在为大数据技术专业的学生提供Hadoop的基础知识和实践技能，让学生能够搭建、配置和操作...
单点系统的高可用与性能优化
helloznan的博客
07-27 2911
单点系统的问题1、非高可用：既然是单点，master一旦故障，服务就会收到影响。 2、性能瓶颈：既然是单点，不具备良好的扩展性，单点的服务性能总有个上限，一旦出现单点的上限，往往就是整个系统的上限。解决方案一、shadow-master： shadow-master是一种很常见的解决单点高可用问题的技术方案。缺点： a、只能解决高可用问题，无法解决性能瓶颈。 b、但shadow
【分布式事务】之 XA
fanfan4569的博客
10-08 421
文章目录一、简介（1）问题1）什么是 XA？二、限制（存在问题）（1）非高可用（2）事务协调者所在的应用服务器不再是无状态（3）无法检测死锁（4）容错 一、简介 分布式事务概念： 数据库内部的分布式事务 某些分布式数据库（例如那些标配支持复制和分区的数据库）支持跨数据库节点的内部事务。 例如，VoltDB和MySQL Cluster的 NDB 存储引擎就是支持这样的内部分布式事务 此时，...
搭建hadoop教程
m0_63525319的博客
05-17 477
提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、Hadoop是什么二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、Hadoop是什么 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下
Harbor部署-非高可用
刀刀叨叨
04-17 1053
1、部署简介 官网介绍的Harbor部署方式共三种 Online installer：在线安装，由于网速等原因，本文不做介绍 Offline installer: 离线安装 OVA installer: 使用VMware自家的虚拟机技术部署，本文不做介绍 部署硬件要求和软件要求 Resource Capacity Description CPU mini...
hadoop集群 中每个角色的用途（非高可用模式）
weixin_43995212的博客
10-18 565
HDFS是主/从（Mater/Slave）体系结构 ， HDFS由四部分组成，HDFS Client、NameNod e、DataNode和Secondary NameNode。 每个服务的作用 1、Client：就是客户端。 文件切分。文件上传 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存 储。 与 NameNode 交互，获取文件的位置信息。 与 DataNo...
Hadoop 重要监控指标
最新发布
weixin_41489908的博客
07-24 789
NameNode 指标：包括 NameNode 的状态、内存使用、文件系统操作等。DataNode 指标：包括 DataNode 的状态、磁盘使用、数据块操作等。ResourceManager 指标：包括 ResourceManager 的状态、应用程序队列、资源使用等。NodeManager 指标：包括 NodeManager 的状态、容器使用、资源分配等。JobHistoryServer 指标：包括历史作业的状态、执行时间、资源消耗等。
NO.1 Hadoop概述
2301_81838571的博客
07-23 292
1.1 Hadoop是什么 1.2 Hadoop优势 1.3 Hadoop组成 1.3.1 HDFS架构概述 1.3.2 YARN架构概述 1.3.3 MapReduce架构概述 1.3.4 HDFS、YARN、MapReduce三者关系 1.4大数据技术生态体系 1.5 推荐系统框架图
【分布式锁】Redission实现分布式锁
qq_39666711的博客
07-23 548
接着上一节，我们遇到了超卖的问题，并通过Redis实现分布式锁，进行了解决。本节 我将换一种方式实现分布式锁。可以看到，没有超卖现象。至此Redission实现分布式锁已经OK。provider-and-consumer 端口 8023。rabbitmq-consumer 端口 8021。
“分布式” 和 “集群”
m0_61716416的博客
07-23 560
集群是一个由多个计算节点组成的系统，节点通常在物理上较为集中，强调高可用性和负载均衡。分布式系统是一种将计算任务和数据分布到多个节点上的系统，节点可以分布在不同地点，强调扩展性和容错性。集群和分布式系统在很多现代计算架构中都是互补的，结合使用可以实现更高效、更可靠的系统。
"Hadoop3.0高可用分布式集群搭建详解
Hadoop3.0分布式集群搭建(HA)详细文档是一份详细描述Hadoop3.0高可用分布式集群搭建的文档。在开始搭建Hadoop分布式集群之前，需要准备好3台主机，并在每台主机上安装好Linux系统，并完成网络配置和系统配置。文档...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值