大数据实训第十七天笔记

最新推荐文章于 2024-08-23 19:17:09 发布
最新推荐文章于 2024-08-23 19:17:09 发布
阅读量1k 收藏 23
点赞数 11
文章标签： 大数据 笔记 java-zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jungle_guy/article/details/140343589
版权

ZooKeeper的api的使用Hadoop的HA模式

初始化ZooKeeper客户端

与HDFS和Hive的链接类似，但是Zookeeper中引入了监听器的机制,关于监听器的使用，会在后面提到

// 初始化zk的客户端
    @Before
    public void init() throws IOException {

        //zk集群的地址
        String connectString = "bigdata04:2181,bigdata05:2181,bigdata06:2181";

        //zk的会话超时时间(单位：毫秒)
        int sessionTimeout = 2000;


        //创建zk客户端对象
        //使用匿名内部类实训Watcher接口
         zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
            //重写process方法，该方法为监听器的回调方法
            //当监听器被注册时 回调函数处于异步状态
            //当监听器被触发时 回调函数开始执行
            @Override
            public void process(WatchedEvent watchedEvent) {
                System.out.println("-------------获取监听数据--------------");
                try {
                    List<String> childrenNodeList = zk.getChildren("/", true);

                    //进行遍历
                    for (String item :childrenNodeList){
                        System.out.println("监听器获取了"+item);
                    }
                } catch (KeeperException e) {
                    throw new RuntimeException(e);
                } catch (InterruptedException e) {
                    throw new RuntimeException(e);
                }
            }
        });
    }

创建节点

//创建节点
    @Test
    public void createNode() throws InterruptedException, KeeperException {

        //节点的路径
        String path = "/node1_api";

        //节点中储存的数据
        byte[] dataBytes="abc".getBytes();

        //设置节点的访问权限列表
        //OPEN_ACL_UNSAFE: 表示使用完全开放的ACL权限 允许客户端对节点进行读写操作
        ArrayList<ACL> aclList = ZooDefs.Ids.OPEN_ACL_UNSAFE;

        //创建持久非顺序节点
        CreateMode createMode =CreateMode.PERSISTENT;

        //创建持久非顺序节点
        String node1 = zk.create(path, dataBytes, aclList, createMode);

        System.out.println(node1);

//        //创建持久顺序节点
//        String node2 = zk.create("/node2_api", "DEF".getBytes(), aclList, CreateMode.PERSISTENT_SEQUENTIAL);
//        System.out.println(node2);


//        //临时节点只在当前会话有效，会随着java代码的结束会话而结束
//        //创建临时非顺序节点
//        String node3 = zk.create("/node3_api", "123".getBytes(), aclList, CreateMode.EPHEMERAL);
//        System.out.println(node3);

//        //创建临时顺序节点
//        String node4 = zk.create("/node4_api", "123".getBytes(), aclList, CreateMode.EPHEMERAL_SEQUENTIAL);
//        System.out.println(node4);

    }

创建了持久非顺序节点
在这里插入图片描述
创建了持久顺序节点
在这里插入图片描述
idea命令行已经打印了node3临时非顺序节点
在这里插入图片描述
但是因为java代码的会话已经关闭，所以查不到临时节点
在这里插入图片描述

查询节点

不使用监听器

不使用监听器，效果与zookeeper命令行一致

ls -s /

 //查询节点的子节点 不设置监听器
    @Test
    public void getChildNode() throws InterruptedException, KeeperException {

        //设置查询的起始节点
        String path="/";

        //是否设置监听器
        boolean watcher=false;

        //查询根节点的所有子节点
        List<String> childrenNodeList = zk.getChildren(path, watcher);

        for (String item:childrenNodeList){
            System.out.println(item);
        }
    }

在这里插入图片描述

使用监听器

使用监听器会在线程阻塞后自动保持监听器的监听状态，默认调用init中的监听器

//查询节点中的子节点，设置监听器
    @Test
    public void getChildNodeWithWatcher() throws InterruptedException, KeeperException {

        List<String> childrenNodeList = zk.getChildren("/", true);

        for (String item:childrenNodeList){
            System.out.println(item);
        }

        //为了保持监听器的监听 需要阻塞当前的线程直到当前的监听器生效
        Thread.sleep(Long.MAX_VALUE);
    }

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Hadoop的HA模式配置

安装配置

准备三台克隆的虚拟机，其中包含安装好的Hadoop与jdk
安装ZooKeeper
配置hosts文件与profile文件
配置三台虚拟机之间进行免密登录
部分内容参考:
Hadoop分布式安装
在正常的Hadoop安装中,需要将以下文件内容变更
core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>

		<!-- hdfs地址,ha中是连接到nameservice -->
		<property>
			<name>fs.defaultFS</name>
			<value>hdfs://mycluster</value>
		</property>
		
		<!-- 指定hadoop数据的存储目录 -->
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/opt/softs/hadoop3.1.3/data</value>
		</property>
		
		<!-- 故障转移 -->
		<property>
			<name>ha.zookeeper.quorum</name>
			<value>bigdata07:2181,bigdata08:2181,bigdata09:2181</value>
		</property>
		
		
		<!-- 解决HDFS web页面上删除、创建文件权限不足的问题 -->
		<property>
			<name>hadoop.http.staticuser.user</name>
			<value>root</value>
		</property>

		<property>
			<name>hadoop.proxyuser.root.hosts</name>
			<value>*</value>
		</property>
		
		<property>
			<name>hadoop.proxyuser.root.groups</name>
			<value>*</value>
		</property>
		
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration>

  <!-- 为namenode集群定义一个services name -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>

  <!-- nameservice包含哪些namenode,为各个namenode起名 -->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>

  <!-- 名称为nn1的namenode的rpc地址和端口号,rpc用来和datanode通讯 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>bigdata07:8020</value>
  </property>

  <!-- 名称为nn2的namenode的rpc地址和端口号,rpc用来和datanode通讯  -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>bigdata08:8020</value>
  </property>


  <!-- 名称为nn1的namenode的http地址和端口号,web客户端 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>bigdata07:50070</value>
  </property>

  <!-- 名称为nn2的namenode的http地址和端口号,web客户端 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>bigdata08:50070</value>
  </property>


  <!-- namenode间用于共享编辑日志的journal节点列表 -->	
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://bigdata07:8485;bigdata08:8485;bigdata09:8485/mycluster</value>
  </property>
  
  
  <!-- journalnode 上用于存放edits日志的目录 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/softs/hadoop3.1.3/data/dfs/jn</value>
  </property>

  <!-- 客户端连接可用状态的NameNode所用的代理类 -->
  <property>
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

 <!--sshfence：防止namenode脑裂，当脑裂时，会自动通过ssh到old-active将其杀掉，将standby切换为active  -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>


  <!--ssh密钥文件路径-->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>

  <!-- 故障转移设置为ture -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>

</configuration>

mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration>

    <!--指定mapreduce运行在yarn框架上-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <!--设置mapreduce的历史服务器安装在bigdata007节点上-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata07:10020</value>
    </property>


	<!--设置历史服务器的web页面地址和端口号-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata07:19888</value>
    </property>

</configuration>

yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration>

  <!-- 配置yarn的默认混洗方式，选择为mapreduce的默认混洗算法 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <!-- 是否启用日志聚集功能 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <!-- 是配置聚集的日志在HDFS上最多保存多长时间 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
  </property>

  <!--  启用resourcemanager的ha功能 -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>

  <!--  为resourcemanage ha集群起个id -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yarn-cluster</value>
  </property>

  <!--  指定resourcemanger ha有哪些节点名 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>

  <!--  指定第一个节点的所在节点 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>bigdata08</value>
  </property>

  <!--  指定第二个节点所在机器 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>bigdata09</value>
  </property>

  <!-- 指定resourcemanger ha所用的zookeeper节点 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>bigdata07:2181,bigdata08:2181,bigdata09:2181</value>
  </property>

 <!-- 开启Recovery后，ResourceManger会将应用的状态等信息保存到yarn.resourcemanager.store.class配置的存储介质中，重启后会load这些信息，并且NodeManger会将还在运行的container信息同步到ResourceManager，整个过程不影响作业的正常运行。 -->
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>

 <!-- 指定yarn.resourcemanager.store.class的存储介质(HA集群只支持ZKRMStateStore) -->
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>

</configuration>

在安装流程中，再额外添加的profile配置项

export HADOOP_CONF_DIR=/opt/softs/hadoop3.1.3/etc/hadoop/
export HADOOP_CLASSPATH=`hadoop classpath`

初始化

启动ZooKeeper集群
在这里插入图片描述
在各个节点启动journalnode

hadoop-daemon.sh start journalnode

在这里插入图片描述
在bigdata07中初始化namenode节点

hdfs namenode -format

在这里插入图片描述
在bigdata07执行NameNode的启动

hadoop-daemon.sh start namenode

在这里插入图片描述

在另外一个NameNode节点(bigdata08)上同步元数据信息 然后再启动NameNode
同步元数据

hdfs namenode -bootstrapStandby

在这里插入图片描述

启动NameNode(在bigdata08中)

hadoop-daemon.sh start namenode

在这里插入图片描述

在bigdata07上执行zk的初始化

hdfs zkfc -formatZK

在这里插入图片描述
配置zookeeper的操作用户为root
并将新配置同步到其他虚拟机上

export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root

在这里插入图片描述
启动dfs与yarn

start-dfs.sh

在这里插入图片描述

start-yarn.sh

在这里插入图片描述
在外部Windows中添加主机配置
在这里插入图片描述
根据配置查找对应的网页服务
在这里插入图片描述

jungle_guy
关注
  • 11
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据实训第十四天笔记
jungle_guy的博客
07-18 146
在进行导入之前，需要安装sqoop。
大数据实训
wjl2506421的博客
07-20 4162
大数据实训大纲 一、大数据梗概 什么是大数据 ​ 大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。 大数据的主要特点为： 数据量大（Volume） 数据类别复杂（Variety） 数据处理速度快（Velocity） 数据真实性高（Veracity） 合起来被称为4V。 ​ 还有的将大数据特点定义为6V模型，即增加了Valence（连接）、Value（价值）2V。 大数据常见概念分类 大数据相关的概念大家都听过不少：HDFS、MapReduc
大数据实训笔记
qq1772819485的博客
09-17 2118
大数据实训笔记 （一）大数据实训第一天 Linux常用命令： cd / 切换路径 cd … 回到上一层路径 ls 查看当前目录下所有文件和文件夹 ls -a 显示隐藏文件 ls -l 查看详细信息（ll） mkdir 创建文件夹 touch 创建文件 mv /lx /opt/ 移动（剪切） mv lx xxx 重命名 cp lx.txt /opt/ 复制粘贴 cd /opt vi...
2021-06-04 大数据实训-1
weixin_45712507的博客
06-04 289
大数据实训 环境centos7 步骤： - 设置虚拟网络与ssh远程连接工具 - 时间同步，关闭防火墙，克隆，设置ssh免密登录 - hadoop安装与配置 - hive安装与配置 - mysql安装与配置 - flume的安装 - sqoop的安装 虚拟网络设置与ssh远程连接工具的使用 编辑>虚拟网络编辑器 选择VMnet8，net模式 可以去网络与Internet>更改适配器中查看，已出现VMnet8 回到虚拟机中 vi /etc/sysconfig/networ
CAD实训读书笔记-应用文.pdf
11-15
CAD实训读书笔记-应用文.pdf
“ARM人脸识别” 实训第一天笔记
06-01
ARM人脸识别实训第一天笔记 ARM人脸识别实训第一天笔记主要涉及到ARM嵌入式硬件和Linux开发系统的基本概念和操作。其中，ARM嵌入式硬件是指基于ARM处理器的嵌入式系统，它广泛应用于人脸识别、物联网、自动化控制...
“ARM人脸识别”实训第二天笔记
06-01
"ARM人脸识别实训第二天笔记" 本笔记涵盖了 ARM 嵌入式硬件相关的知识点，包括结构体、指针、函数、模块化编程、文件操作、IO 操作等。 一、结构体 在 C 语言中，结构体是一种复杂的数据类型，它可以包含多个成员...
电子工艺实训指导书-教程与笔记习题
05-19
《电子工艺实训指导书》是一本面向17级电子工艺实训电气与电子工程学院学生的实践教材，旨在通过一系列实训项目帮助学生掌握电子工艺的基础知识和技能。实训项目以单结晶体管触发电路的安装与调试为例，涵盖了电子元...
大数据导论学习记录笔记
07-02
大数据导论学习记录笔记 大数据导论学习记录笔记中涵盖了大数据的基本概念、技术属性、云计算、物联网、人工智能等相关知识点。 大数据的基本概念 * 数据类型：文本、图片、音频、视频 * 数据结构化程度：结构化...
Kafka运行机制（二）：消息确认，消息日志的存储和回收，生产者消息分区
dxh9231028的博客
08-19 831
生产者端，客户端在通过生产者生产消息时，需要知道消息是否发送成功，防止消息丢失或进行其他操作。消费者端，消费者也需要确认自己在消费数据后，提交偏移量是否成功，防止重复消费。
每天一个数据分析题（四百九十一）- 主成分分析与因子分析
shiguangre的博客
08-20 291
内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark八个方向的专项练习题库，数据分析从业者刷题必备神器！因子载荷矩阵是主成分载荷矩阵（）的结果。A. 最小方差斜交旋转。B. 最大方差斜交旋转。C. 最小方差正交旋转。D. 最大方差正交旋转。
数字（智）化采购系统优点_亮点_应用场景
xinyuan_123456的博客
08-19 411
数字化采购系统研发商，系统融合云原生、微服务、大数据、人工智能、物联网等先进技术，构建业务中台、数据中台、AI中台三大核心基座，以采购为切入点，结合供应链管理理念，为招采供应链提供交易、监管、数据、服务、运营为一体的全流程数智化解决方案
Linux之RabbitMQ集群部署
m0_54563444的博客
08-21 1379
消息中间件也可以称消息队列，是利用高效可靠的消息传递机制进行异步的数据传输并基于数据通信来进行分布式系统的集成。当下主流的消息中间件有等。Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache顶级项目。Kafka主要特点是追求高吞吐量(单机可达到10万级)时效性是毫秒级的，一开始的目的就是用于日志收集和传输。对消息的重复、丢失、错误没有严格要求，适合产生大量数据的互联网服务的数据收集业务。
Kubernetes Pod调度基础
henanchenxuyuan的博客
08-22 658
metadata:spec:selector:ports:metadata:spec:selector:template:metadata:labels:spec:ports:备注:kind:service 定义了一个名字为redis-svc 的服务,定义了一个名字为redis-sts的 statefulset，replicas 表示部署 Podkind: statefulset的副本数。
学习大数据DAY44 帆软 report 配置
最新发布
shh2000424的博客
08-23 778
署，并设置服务器开机自启动，并请实操演示 得分点（完成得满分，未完成得。服务器容器的端口修改，并将内存调大，请实操演示 得分点（完成得。2 部署 tomcat web 服务。1 安装帆软 report v11。配置环境变量 推荐用自己的名字。等几秒查看下进程或者端口。3 显示 帆软 报表平台。分 服务器开机自启动。初始化设置下用户和密码。在它的第二行上面添加。
【大数据】-- 插入或覆写动态分区数据（MaxCompute/Hive）
欢迎来到我的博客，一起探索代码里的世界！
08-23 52
问题：在一些业务场景中，我们需要插入动态分区数据（DYNAMIC PARTITION），如何实现？答：实现如下注意：在 select 时，必须要将 partition_name 添加上。
windows本地kafka和zookeeper单机版
努力工作学习的程序员
08-20 860
总结:上面总共开启了3个cmd。zookeeper配置环境变量，在cmd中可以不指定路径，直接执行。kafka没有配置环境变量，要有路径执行。在config目录下复制一份zoo_sample.cfg文件到同级目录，然后更改名称为zoo.cfg。server.properties配置完后，需要在kafka_2.12-3.5.1目录下。2).cmd启动zookeeper客户端(可以不用启动，截图略)1).cmd启动zookeeper服务端运行。1).新建zookeeper系统变量。2).添加配置path。
Flink CDC Standalone模式部署及Flink CDC Job提交
L
08-23 64
独立模式（Standalone mode）是Flink最简单的部署模式。本文将介绍如何下载、安装和运行Flink CDC。Flink CDC是基于Flink开发的一个流式数据集成工具。所以按照Flink CDC需要事先按照Flink。具体安装请参见。本文选用Flink CDC 3.1.0和Flink 1.17.2。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值