大数据
文章平均质量分 94
大数据
嗯嗯**
If you want to go fast,go alone.If you want to go far,go together
展开
-
Hadoop学习3:问题解决
Hadoop学习3:问题解决原创 2024-03-12 08:47:26 · 1453 阅读 · 0 评论 -
Hadoop学习2:完全分布集群搭建
Hadoop学习2:完全分布集群搭建原创 2024-03-12 08:47:09 · 1126 阅读 · 0 评论 -
Hadoop学习1:概述、单体搭建、伪分布式搭建
Hadoop学习1:概述、单体搭建、伪分布式搭建原创 2024-03-12 08:44:53 · 1084 阅读 · 0 评论 -
Zookeeper4:Java客户端、应用场景以及实现、第三方客户端curator工具包
运行代码前自行在Zookeeper客户端创建/service节点【create /service “service”】,因为zookeeper创建子节点前必须有父节点,否则创建子节点失败。运行代码可见curator的分布式锁的原理跟前面自己实现的逻辑差不多,都是通过增、删子节点,然后监控前一个节点被删释放锁的逻辑原理去做的。在Zookeepert中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求。100台服务器:11个zk。200台服务器:11台zk。10台服务器:3个ZK。原创 2024-03-02 00:15:10 · 1189 阅读 · 0 评论 -
Zookeeper3:客户端命令
有序号:create节点名的时候带上-s == 好处可以创建多个同名不同序的节点。ephemeralOwner:非临时节点为0,临时节点为sessionId。aclVersion:节点访问控制列表的变化次数。dataversion:子节点数据的变化次数。pzxid:节点最后更新的子节点zxid。numChildren:节点的子节点数量。ctime:节点被创建的时间戳(毫秒)czxid:创建节点的事务zxid。mzxid:节点最后更新的zxid。cversion:子节点的变化次数。原创 2024-03-02 00:09:28 · 1140 阅读 · 0 评论 -
Zookeeper学习2:原理、常用脚本、选举机制、监听器
ZooKeeper会将所有的写操作以事务的形式记录在事务日志中,这些写操作包括创建节点、更新节点数据、删除节点等。当ZooKeeper服务器启动时,会首先加载最新的快照文件,然后通过回放事务日志来恢复到最新的状态。2. 集群中的Leader挂了,Leader选举规则:谁任期Epoch大选谁、任期一致,谁事务ID修改次数大就选谁、事务ID也一致,谁身份证号大就选谁。准备阶段:提议者向接受者发送一个提议编号,接受者如果收到的提议编号比自己已经接受的提议编号大,接受该提议,并返回自己已经接受的提议编号和值。原创 2024-03-02 00:06:09 · 1105 阅读 · 0 评论 -
Zookeeper学习1:概述、安装、应用场景、集群配置
为分布式框架组件提供协调服务的中间件 == 【类似:文件系统+通知机制】== 负责存储上下层应用关系的数据以及接收观察者注册监听,一旦观察查关心的数据发生变化,则Zookeeper会将数据变化推送给观察者Zookeeper由一个领导者(Leader),多个跟随者(Follower)组成的集群 ==半数以上的节点存活,集群才能正常工作,并且建议安装奇数台服务器集群每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。原创 2024-03-01 23:55:22 · 1294 阅读 · 0 评论