安装分布式

已于 2024-06-03 20:11:27 修改
阅读量984 收藏 6
点赞数 25
文章标签： 笔记
于 2024-05-30 20:24:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74934794/article/details/139322051
版权

目录

安装hadoop

IP地址和主机的映射

使用远程传输命令

每台虚拟机上都进行免密登录操作

回到第一台虚拟机（bigdata02），进行集群的搭建

​编辑

现在将我们配置的hadoop3.1.3，分发到bigdata04和bigdata05

还有在bigdata03中配置的Hadoop环境变量也要传到04，05中

初始化Hadoop

在bigdata03节点上启动SDFH

启动yarn

检查集群的搭建

关闭虚拟机（一定要关闭！！）

首先克隆三个bigdata

此下操作是在bigdata02中的

安装hadoop


打开/opt/install_packages

目前只配置了jdk

将hadoop配置文件拖拽到 /opt/install_packages目录下

输入 

tar -zxvf /opt/install_packages/hadoop-3.1.3.tar.gz  -C /opt/softs/

进行解压

查看是否已经解压到

之后修改下目录名称 我有强迫症

mv hadoop-3.1.3/ hadoop3.1.3/

配置环境变量

vim /etc/profile

在底部添加

#HADOOP_HOME
export HADOOP_HOME=/opt/softs/hadoop3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

保存退出

输入

source /etc/profile

验证一下

echo  $HADOOP_HOME

这里是成功的

IP地址和主机的映射

输入

vim /etc/hosts

输入克隆的主机与IP的映射

保存退出

使用远程传输命令

scp 要远程传输的文件 目标主机的用户名@目标主机的IP或者hostname：文件远程传输的位置

将03上的hosts文件传到04和05上

scp /etc/hosts root@bigdata04:/etc/

打开bigdata04，在其中打印/etc/hosts

成功了，之后的bigdata05同理

每台虚拟机上都进行免密登录操作

bigdata03

进入根目录，显示隐藏文件

进入.ssh目录

生成公钥和私钥

ssh-keygen -t rsa

将公钥发送给需要免密登录的主机

ssh-copy-id bigdata03
ssh-copy-id bigdata04
ssh-copy-id bigdata05

之后的bigdata04，05也进行一样的操作

回到第一台虚拟机（bigdata02），进行集群的搭建

集群规划

bigdata03bigdata04bigdata05
HDFSNameNode，DataNode2nn,DataNodeDataNode
YARNNodeManagerNodeManagerResourceManager,NodeManager

因为NameNode，2nn，ResourceManager都很占用资源，所以避免将这些放到同一个节点

开始操作

首先进入  /opt/softs/hadoop3.1.3/etc/hadoop

先配置JAVA_HOME

vim hadoop-env.sh

修改core-site.xml核心配置文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata03:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/softs/hadoop3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为root -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
</configuration>

修改 hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    
     <!-- HDFS数据副本数 -->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
    
    <!-- namenode数据的存储目录 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/opt/softs/hadoop3.1.3/data/dfs/name</value>
	</property>
	
	<!-- datanode数据的存储目录 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/opt/softs/hadoop3.1.3/data/dfs/data</value>
	</property>
   
	<!-- NameNode web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>bigdata03:9870</value>
    </property>
	<!-- SecondaryNameNode web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata04:9868</value>
    </property>
</configuration>

修改mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定mapreduce走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata05</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
	
	 <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
	</property>
    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://bigdata05:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
	
</configuration>

配置Datanode

在/opt/softs/hadoop3.1.3/etc/hadoop目录下修改workers

vim workers

现在将我们配置的hadoop3.1.3，分发到bigdata04和bigdata05

用scp远程传输命令

scp -r 要远程传输的目录 目标主机的用户名@目标主机的IP或者hostname：目录远程传输的位置

scp -r /opt/softs/hadoop3.1.3/ root@bigdata04:/opt/softs/

scp -r /opt/softs/hadoop3.1.3/ root@bigdata05:/opt/softs/

 在bigdata04中查看

存在share就表示成功了。

还有在bigdata03中配置的Hadoop环境变量也要传到04，05中

scp /etc/profile root@bigdata04:/etc/
scp /etc/profile root@bigdata05:/etc/

另外两台也是也要

source /etc/profile

初始化Hadoop

在NameNode所在的节点（bigdata03）执行初始化，因为NameNode在Hadoop分布式文件系统（HDFS）中扮演着核心角色。NameNode负责维护HDFS的目录树结构及文件的元数据信息，包括文件名、文件大小、文件块的位置信息等。初始化过程确保NameNode能够正确加载或创建这些元数据信息。

bigdata03

hdfs namenode -format

查看/opt/softs/hadoop3.1.3/m目录下是否有data

此时04，05上是没有data的

在bigdata03节点上启动SDFH
start-dfs.sh

启动yarn

在ResourceManager所在的节点，即bigdata05

启动的脚本在/opt/softs/hadoop3.1.3/sbin目录下

start-yarn.sh

此时报错

定义YARN用户环境变量：在Hadoop的配置文件中，需要设置YARN ResourceManager和NodeManager应该使用的用户账户，在03的/etc/profile中加入

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

用scp传给04，05。

重新启动yarn

此时多了04 ResourceManager和NodeManager

检查集群的搭建

bigdata03bigdata04bigdata05
HDFSNameNode，DataNode2nn,DataNodeDataNode
YARNNodeManagerNodeManagerResourceManager,NodeManager

bigdata03

bigdata04

bigdata05

显示无误就成功了

关闭虚拟机（一定要关闭！！）

bigdata03关闭HDFS

stop-dfs.sh

bigdata05关闭yarn

stop-yarn.sh

此时三台虚拟机的进程都是

天才的白鸟
关注
Hadoop分布式安装
Coding Road
10-23 258
Hadoop分布式安装 1. 准备环境 三台虚拟机，IP分别为192.168.153.128，192.168.153.129，192.168.153.130。 节点 192.168.153.128 NameNode DataNode NodeManager 192.168.153.129 SecondaryNameNode DataNode NodeManag...
分布式
CyC2018
06-17 859
文章目录一、分布式锁数据库的唯一索引Redis 的 SETNX 指令Redis 的 RedLock 算法Zookeeper 的有序节点1. Zookeeper 抽象模型2. 节点类型3. 监听器4. 分布式锁实现5. 会话超时6. 羊群效应二、分布式事务2PC1. 运行过程1.1 准备阶段1.2 提交阶段2. 存在的问题2.1 同步阻塞2.2 单点问题2.3 数据不一致2.4 太过保守本地消息表三...
构建健壮的分布式系统
中生代技术
04-25 211
Kislay Verma读完需要5分钟速读仅需 2 分钟我是一位经验丰富的软件工程师，喜欢阅读、写作和发推文。我发布了一份名为 It Depends 的每周通讯和播客。目前，我正在带领一些团队在 Cult 打造出色的客户和合作伙伴体验。原文链接：https://kislayverma.com/software-architecture/building-robust-di...
分布式系统搭建
z19799100的博客
04-02 2567
一、特点 多个节点一起运行。 二、分析 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装jdk 3）配置环境变量 4）安装hadoop 5）配置环境变量 6）安装ssh 7）配置集群 8）启动测试集群 三、虚拟机准备 克隆三个虚拟机，修改IP，主机名和IP映射即可 四、scp命令 说明：scp可以实现服务器与服务器之间的数据拷贝。 实操： 将zhiyo...
安装全分布式的大致步骤
bingmo_的博客
04-11 275
安装全分布式的大致步骤： 1.先下载vmware，下载好后，再在电脑下载一个镜像。 2.在VMware上建立至少两台虚拟机。配置虚拟机的时候，主机名不同，但用户名必须一样，还要记得设置密码，就设置123就行。 3.建全分布式的时候，主虚拟机的内核和内存最好比辅虚拟机大。 4.下载SecureCRT，在上面配置环境。 5.下载SecureFX，在上面上传Hadoop要用的文件。 ...
教你如何单机搭建测试用的分布式系统(一)
weixin_38160277的博客
11-20 1420
今天来写一篇博客,教大家如何搭建分布式系统. 万事开头难,很多人放弃某样东西往往都是在刚开始的时候遇到了困难.所以有句话叫做"师傅领进门,修行靠个人",这个帖子权当作领各位进门吧. 开始之前先聊一下我的学习经历吧,博主一开始是学java开发的,刚开始学的时候是学的javaweb,用到的技术有Struts,jsp,hibernate,spring等框架技术统称"三大框架",那时候学完只会写些单机版的...
安装分布式greenplum数据库
08-27
在4台虚拟机上实现的分布式greenplum数据库安装文档。虚拟机使用的是virtualBox，4台虚拟机使用的操作系统是redhat linux enterprise 5.5。
在CentOS 7.1 上安装分布式存储系统 Ceph
11-28
Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储（Block Storage）和分布式对象存储（Object Storage），现在分布式...
HBase分布式安装
最新发布
xujonas的博客
01-05 544
hbase分布式安装，环境搭建，节点文件分发
SQL Server2012安装图解及意外解决
10-16
SQL Server2012安装图解及常见意外解决；
Centos7安装分布式文件系统fastdfs类库 libfastcommon-1.0.7
chenzhipeng111111的博客
03-18 1910
Centos7安装分布式文件系统fastdfs类库 libfastcommon-1.0.7 fastdfs是c语言的 建议在liunx上运行 首先安装好gcc 依赖环境 ，不然之后运行 类库的 ./make.sh 会报错 运行指令：yum install gcc-c++ -y 运行成功后进入opt目录下 将libfastcommonV1.0.7.tar.gz 上传到目录下，解压之前 先刷新一下文...
分布式系统入门及创建
weixin_42800427的博客
07-17 2037
分布式系统 分布式思想 将项目按照指定的规则进行拆分，从而降低系统架构的耦合性，提高开发效率。分布式系统对外是统一的，对内是独立的。 传统项目问题 如果没有分布式系统，按照传统项目将全部的功能模块写到一起,如果将来有一个模块出现了问题,则可能直接导致整个服务不能使用.系统架构的耦合性太高。 根据业务模块进行拆分 根据项目中不同的功能模块进行拆分，拆分后部署到不同的tomcat服务器中。如果将来有一个模块出现问题，则不会影响全部服务正常运行。 如上图拆分后，权限管理模块出现问题后并不会影响服务的正常运行。
分布式系统环境搭建
weixin_41974027的博客
01-09 2430
一、系统架构3 二、项目环境搭建3 　　1.前端3 　　　　1.1负载均衡3 　　　　1.2前端技术框架----Vue.js（开发环境搭建）3 　　　　　　1.2.1 node.js安装3 　　　　　　1.2.2 cnpm安装脚手架vue-cli5 　　　　　　1.2.3构建vue项目6 　　　　　　1.2.4项目启动6 　　2.后台6 　　　　2.1 tomcat服务器6 　　　　　　2.1.1下载与安装6 　　　　　　2.1.2配置7 　　　　2.2 Re...
从零开始搭建完整分布式系统
wq8987的专栏
05-28 2837
构架方案：说明：负载均衡(2c4g)：2台lvs+keepalived作为负载均衡服务器，一主一备，实现高可用；反向代理(4c8g)：2台nginx作为web服务反向代理服以实现WEB服务的高可用；WEB服务器集群(4c8g)：2台服务器，每台服务器启用多应用的方式实现服务集群；缓存服务器(4c16g)：2台服务器实现redis服务端集群;数据库(8c16g)：2台MYSQL;相关软件安装说明与脚...
大规模流量的网站架构
JackieLiuLixi的专栏
11-07 2382
大规模流量的网站架构，从来都是慢慢“成长”而来。而这个过程中，会遇到很多问题，在不断解决问题的过程中，Web系统变得越来越大。并且，新的挑战又往往出现在旧的解决方案之上。希望这篇文章能够为技术人员提供一定的参考和帮助。  以下为原文 当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这
分布式Zookeeper安装搭建详解
热门推荐
拂晓的专栏
11-26 1万+
一、下载zookeeper安装包 在官网中下载，对于在墙内的用户，并不推荐该方式下载速度可能比较慢 推荐方式：在cloudera仓库进行下载，相较于官网下载更加稳定快速，地址http://archive.cloudera.com/cdh5/cdh/5/，选择需要版本下载tar.gz的安装包 二、将安装包上传解压到服务器指定目录执行 tar -zxvf zookeeperXXX.tar.gz -C /
Hadoop伪分布式安装与配置指南
“Linux上的Hadoop伪分布式安装及配置步骤，涉及Hadoop的三种运行模式：本地模式、伪分布模式和完全分布模式。” 在Hadoop的世界里，了解和掌握不同的运行模式对于开发者和管理员来说至关重要。以下是关于这些模式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值