分布式
文章平均质量分 71
titake
这个作者很懒,什么都没留下…
展开
-
hbase 设置超时参数
hbase设计的目标是成为一个高可用集群,能够在失败的时候快速响应,当出现网络抖动等偶发情况时,能快速重试,让用户可以快速拿到结果。而不是一直卡着,使得上层应用阻塞等待。这个功能可以通过设置下面的3个超时参数、超时重试次数来实现。在超时的时候,立即主动断开,并重试。可以在当前集群上重试,也可以切换集群重试。原创 2023-04-28 15:03:27 · 2071 阅读 · 1 评论 -
一致性哈希和哈希槽--数据定位节点
在分布式存储系统中,数据会分布存放在各个数据节点上。那么数据来的时候,应该选择哪个节点存储数据,查询时又应该去哪个节点上找是一个很重要的问题。除此之外,增加新节点 或 老节点挂掉后,如何转移数据,也是需要关注的问题。一致性hash 和 哈希槽就是为了解决上述的两大问题。一、一致性哈希1.1 基本原理一致性hash是一个2^32位的圆环,节点按照ip 哈希后,映射到环上。数据按照 key哈希后,也映射到环上。然后每个数据沿顺时针方向,在环上找最近的节点。1.2 雪崩当一个节点挂掉.原创 2021-05-26 09:16:41 · 615 阅读 · 0 评论 -
Hbase简介-hbase结构与hbase表结构、存储
HBase 是HDFS上的一个nosql数据库。HDFS本身是一个分布式文件管理系统,提供海量数据的分布式存储。但是对小文件和查询不友好。Hbase在HDFS之上提供了高并发的随机写和支持实时查询。一、Hbase数据结构与存储:首先,我们先了解一下hbase是怎么存数据的。Hbase作为nosql的列存储数据库,不再像mysql那种关系型数据库中的表。mysql中表中数据是一行一行存储的,如果某一行中有空值,也会占地方存NaN。比如下表,bob 那一行中 job 是空的,但是依旧..原创 2021-04-22 17:56:14 · 783 阅读 · 0 评论 -
CM agent 发送heartbeat给CM server 不断发生 connection refused:timed out
1、首先测试 cm agent 连接至 cm server 7182端口,看是否联通(是连通)2、然后尝试 hard_restart agent 后依旧无法修复3、观察到许多 hive bdr 依旧和 cm server 保持通信,开始怀疑是同步任务压力过大。强制停掉此agent后,kill 掉后台所有的hive进程,再启动这个 cm agent)service cloudera-scm-agent next_stop_hard service cloudera-scm-agent st原创 2020-11-30 23:37:56 · 458 阅读 · 0 评论 -
hive replication的报错总结
这几天在做hive数据同步,来唠唠遇到过的报错1、java.io.IOExeption: Checksum mismatch between hdfs://distcpSourceNS/user/hive/warehouse/edmp_db.db/xxxx and hdfs://dsep-namservice1//user/hive/warehouse/edmp_db.db/xxxx这个报错看不出是为啥校验和会不同,接着往下翻其他的报错,看到:The DiskSpace quota of .原创 2020-11-30 23:25:24 · 1220 阅读 · 3 评论 -
Cloudera Security(随心翻译)
Cloudera Security原文连接:https://docs.cloudera.com/documentation/enterprise/latest/topics/security.htmloverviewsecurity requirement 目标数据管理系统安全的目标可以分为以下四个方面:perimeter(边界):我们必须保护集群的连接,免于外部和内部网络的攻击,以及各种角色的攻击。我们可以通过 防火墙、路由、子网、以及合理利用公有与私有IP地址,来提供网...翻译 2020-10-10 15:24:32 · 192 阅读 · 0 评论 -
HAProxy 原理 & dash board 各指标含义
rate分了:connection rate per second :clients连接至HAProxy的频率(还没有创建完整的sessions) session rate per second:session 作为一个持有端到端连接(client到HAProxy,HAProxy到后端服务器)状态的实体,被创建的速率 request rate per second:在建立的连接上,HTTP请求被接收的频率Session rate描述client连接到HAProxy的速率。...原创 2020-09-23 17:45:19 · 903 阅读 · 1 评论