zk客户端向服务器数据写流程

最新推荐文章于 2024-04-26 11:47:10 发布
最新推荐文章于 2024-04-26 11:47:10 发布
阅读量918 收藏
点赞数
文章标签： 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mofiu/article/details/127789657
版权

客户端 向服务器数据写流程

1.当clinet向zookeeper的某个server1上写数据，发送一个写请求

2.如果接收到请求的不是Leader,那么server1会把请求转给Leader,因为zookeeper的集群中只有一个是Leader,这个Leader会把写请求广播给各个server，当各个server写成功后就会通知Leader.

3.当Leader收到大多数Server写成功了，那么说明数据是写成功了，如果此时集群的节点是3个的话，只要有两个集群写成功后，就认为是成功了，写成功后，Leader会告知向他提交申请的server1,

4.Server1会进一步将通知Client写成功， 这时就认为写是成功了
在这里插入图片描述

誠寜
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大数据开发技术.pdf
12-24
在 HDFS 中，NameNode 的主要功能是什么？ 1 我们把目录结构及文件分块位置信息叫做元数据。Namenode 负责 维护整个 hdfs 文件系统的目录树结构，以及每一个文件所对应的 block 块信息（block 的 id，及所在的 datanode 服务器） 。 2 Namenode 节点负责确定指定的文件块到具体的 Datanode 结点的 映射关系。在客户端与数据节点之间共享数据 3 管理 Datanode 结点的状态报告， 包括 Datanode 结点的健康状态报 告和其所在结点上数据块状态报告，以便能够及时处理失效的数据结 点。 NameNode 与 SecondaryNameNode 的区别与联系？ 1. NameNode 负责管理整个文件系统的元数据， 以及每一个路径 （文 件）所对应的数据块信息。2．SecondaryNameNode 主要用于定 期 合 并 命 名 空 间 镜 像 和 命 名 空 间 镜 像 的 编 辑 日 志 。 1.SecondaryNameNode 中保存了一份和 namenode 一致的镜 像文件（fsimage）和编辑日志（edits） 。2.在主 namenode 发生 故障时（假设没有及时备份数据） ，可以从 SecondaryNameNode HDFS 读数据流程？ 1. 跟 namenode 通信查询元数据，找到文件块所在的 datanode 服务 器 2.挑选一台 datanode（就近原则，然后随机）服务器，请求建立 socket 流 3.datanode 开始发送数据（从磁盘里面读取数据放入流， 以 packet 为单位来做校验）4.客户端以 packet 为单位接收，先在 本地缓存，然后写入目标文 Hadoop 集群中 Hadoop 需要启动哪些进程， 它们的作用分别是什么? 1.NameNode 它是 hadoop 中的主服务器，管理文件系统名称空间和 对 集 群 中 存 储 的 文 件 的 访 问 ， 保 存 有 metadate 。 2．SecondaryNameNode 它不是 namenode 的冗余守护进程，而是 提供周期检查点和清理任务。 帮助 NN 合并 editslog， 减少 NN 启动时 间。3．DataNode 它负责管理连接到节点的存储（一个集群中可以有 多个节点） 。每个存储数据的节点运行一个 datanode 守护进程。 4．ResourceManager（JobTracker） JobTracker 负责调度 DataNode 上的工作。每个 DataNode 有一个 TaskTracker，它们执行实际工作。5．NodeManager（TaskTracker） 执行任务 6．DFSZKFailoverController 高可用时它负责监控 NN 的状 态，并及时的把状态信息写入 ZK。它通过一个独立线程 周期性的调用 NN 上的一个特定接口来获取 NN 的健康状态。FC 也有 选择谁作为 ActiveNN 的权利，因为最多只有两个节点，目前选择策略 还比较简单（先到先得，轮换）7．JournalNode 高可用情况下存放 namenode 的 editlog 文件. 在 CentOS 环境下，按照伪分布方式安装和配置 Hadoop 平台的主要 过程。 1. hadoop 安装包下载 2、hadoop 安装包解压 3、hadoop 伪分布式 环境搭建环境搭建步骤如下：1、将 hadoop 安装目录添加到系统环 境变量（～/.bash_profile）2、配置 hadoop 环境的配置文件 hadoop-env.sh3、配置 hadoop 核心文件 core-site.xml4、配置 HDFS 文件 hafs-site.xml Mapreduce 中，Partitioner 操作的作用？ MapReduce 提供 Partitioner 接口，它的作用就是根据 key 或 value 及 reduce 的数量 来决定当前的这对输出数据最终应该交由哪个 reduce task 处理。默认 对 key hash 后再以 reduce task 数量取模。默认的取模方式只是为了 平均 reduce 的处理能力， 如果用户自己对 Partitioner 有需求， 可以订 制并设置到 job 上。 HDFS 中的写数据流程。 (1) Client 向 NameNode 发起文件写入的请求。 (2) NameNode 根 据文件大小和文件块配置情况,返回给 Client 它所管理部分 DataNode 的信息。 (3) Client 将文件划分为多个 Block,根据 DataNode 的地址信息,按顺序写入到每一个 DataNode
Zookeeper 写入和选举原理深入分析及演示
nandao158的博客
03-20 763
上篇分析了ZK的搭建和基本操作，此次我们深入分析其原理，包括扩展性、可用性、一致性、可靠性、时序性等等。 1、扩展性原理： 此处原理参考：参考原理 2、可靠性原理： 3、客户端数据写入过程： 3.1、ClientA发起创建节点，数据传给FollowerA从节点,FollowerA没有创建权限，随后把数据经过2create(ooxx),传递给Leader主节点，主节点给其返回over-ok。 3.2、之后主节点开始两阶段提交，首先主节点向所有从节点发送log日志，如4-1:lo..
关于zookeeper
CH_Axiaobai的博客
12-04 228
zookeeper是什么 zookeeper是一个分布式协调服务的开源框架，主要是用来解决分布式集群中应用系统的一致性问题，例如怎样避免网时操作同一数据造成的脏读的问题，zookeeper本质上是一个分布式的小文件存储系统，提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的系欸但进行有效管理，从而用来维护和监控你存储的数据的状态变化，通过监控这些数据状态的变化，从而可以达到基于数据的集...
Zookeeper的常用Shell命令
习惯一个人面对所有
12-06 417
启动zookeeper服务后，在其中一台机器上执行客户端脚本可连接到zookeeper服务 [whzy@master zookeeper-3.4.12]$ bin/zkCli.sh -server slave:2181,slave2:2181 使用create命令在客户端shell下创建目录，并查看 [zk: slave:2181,slave2:2181(CONNECTED) 28] creat...
将数据转存到指定服务器数据库
fang.lovest.yang的博客
04-04 492
1.spring boot 下载项目，配置依赖。https://start.spring.io/ spring-boot-starter-jdbc postgresql spring-boot-starter-web 以及其他依赖直接写在pom文件即可 2.idea引入boot项目 https://blog.csdn.net/m0_45426399/article/details/109695628 。必须按照这个步骤引入 否则右键 没有run运行选项。 3.项目总引入httpclient 定时.
2、Zookeeper是怎么写入数据的？
zxf126126的博客
11-23 906
zookeeper是怎么写入数据的
客户端向服务端写数据流程
weixin_47260194的博客
04-11 109
写流程之写入请求直接发送给Leader节点 写流程之写入请求发送给follower节点
Zookeeper客户端向服务端写数据流程
m0_58524181的博客
09-23 606
Zookeeper客户端像服务器端写数据流程
基于ZkClient往zookeeper分布式集群节点写入数据
Zhang Phil
08-25 1390
zookeeper自身的ZooKeeper构建一个连接，然后往zookeeper节点写入数据，但是代码写法略显复杂。现在使用github上的一个开源项目ZkClient https://github.com/sgroschupf/zkclient 可以大大简化往zookeeper分布式集群中的节点写入数据的复杂度。 首先需要在pom.xml添加引用： <depend...
ZooKeeper 写数据原理
loftiest的博客
10-29 439
zk写数据原理 客户端写入请求发送给leader ​ ① 客户端client向leader发送写请求 ​ ② leader写数据同时会发送写请求给所有follower ​ ③ 等待follower写入完成的ack，当完成数达到半数（包含自己）时 ​ ④ 发送数据写入完成的ack给客户端client 客户端写入请求发送给某个follower ​ ① 客户端client向follower发送写入数据的请求 ​ ② follower将客户端client的写请求转发给leader ​ ③ leader 将写请
JAVA上百实例源码以及开源项目源代码
09-17
　基于JAVA的UDP服务器模型源代码，内含UDP服务器端模型和UDP客户端模型两个小程序，向JAVA初学者演示UDP C/S结构的原理。 简单聊天软件CS模式 2个目标文件 一个简单的CS模式的聊天软件,用socket实现,比较简单。 ...
JAVA上百实例源码以及开源项目
01-03
　基于JAVA的UDP服务器模型源代码，内含UDP服务器端模型和UDP客户端模型两个小程序，向JAVA初学者演示UDP C/S结构的原理。 简单聊天软件CS模式 2个目标文件 一个简单的CS模式的聊天软件,用socket实现,比较简单。 ...
java开源包1
06-28
ftp4j是一个FTP客户端Java类库，实现了FTP客户端应具有的大部分功能文件（包括上传和下 载），浏览远程FTP服务器上的目录和文件，创建、删除、重命，移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...
【kettle001】访问国产达梦数据库并处理数据至execl文件
kngines
04-22 426
一直以来想写下基于kettle的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。熟悉、梳理、总结下达梦（DM）关系型数据库相关知识体系。
Git & TortoiseGit 详细安装使用教程
m0_37383484的博客
04-20 1096
Git 工具详细安装教程，TortoiseGit 工具详细安装使用教程。
Linux网络—DNS域名解析服务
weixin_62922268的博客
04-25 937
1）缓存域名服务器2）主域名服务器3）从域名服务器客户端会先将DNS解析请求发送给本地缓存域名服务器，如果本地缓存域名服务器有相关记录则直接返回给客户端，否则会将DNS解析请求发送给根域名服务器进行解析，根域名服务器会根据域名的顶级域再将DNS解析请求委派给相对应的顶级域名服务器进行解析，顶级域名服务器也会根据域名的二级域或子域再将DNS解析请求委派给相对应的二级域名或子域名服务器进行解析，最后子域名服务器会根据域名的主机名解析出相对应的IP地址，再返回给本地缓存域名服务器和客户端。
Docker和虚拟机的区别
最新发布
小张的博客
04-26 237
Docker和虚拟机（VM）在技术架构、资源利用率、启动速度、应用场景和管理监控等方面存在显著差异。以下是Docker和虚拟机的主要区别：12。
16 Linux-Java篇软件安装
qq_74289024的博客
04-24 1132
Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好，中国大陆使用nginx的网站有：百度、京东、新浪、网易、腾讯、淘宝等。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点（俄文：Рамблер）开发的，第一个公开版本0.1.0发布于2004年10月4日。官网：https://nginx.org/发布前端反向代理服务器负载均衡。
Docker容器化技术：概述与安装
十七拾的博客
04-23 875
本文主要介绍云基础知识、容器基础知识、Docker基础概述与安装等，希望对你有帮助！
mac本安装zk客户端
07-28
对于在Mac上安装ZooKeeper客户端，你... 这将启动ZooKeeper客户端，并连接到本地的ZooKeeper服务器。 现在，你已经成功在Mac上安装和配置了ZooKeeper客户端。你可以使用ZooKeeper客户端来管理和监控ZooKeeper集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值