数据存储
文章平均质量分 78
HBase ,Elasticsearch
26857259
山僧不解数甲子,一叶落知天下秋
展开
-
Elasticsearch 基础查询
Elasticsearch 基础查询原创 2024-05-07 11:40:12 · 191 阅读 · 0 评论 -
HBase 读写流程
HBase 读写流程原创 2024-05-07 10:19:07 · 597 阅读 · 1 评论 -
Elasticsearch 分布式文档存储
当索引一个文档的时候,文档会被存储到一个主分片中。Elasticsearch 如何知道一个文档应该存放到哪个分片中呢?当我们创建文档时,它如何决定这个文档应当被存储在分片 1 还是分片 2 中呢?首先这肯定不会是随机的,否则将来要获取文档的时候我们就不知道从何处寻找了。是一个可变值,默认是文档的_id,也可以设置成一个自定义的值。routing通过 hash 函数生成一个数字,然后这个数字再除以(主分片的数量)后得到 余数。这个分布在 0 到之间的余数,就是我们所寻求的文档所在分片的位置。原创 2024-01-29 10:49:13 · 991 阅读 · 0 评论 -
Elasticsearch 时间点 Point in time
Elasticsearch 时间点 Point in time原创 2024-01-25 15:46:58 · 1002 阅读 · 0 评论 -
Elasticsearch Search After分页查询所有数据
search_after 查询本质:使用前一页中的一组排序值来检索匹配的下一页。前置条件:使用 search_after 要求后续的多个请求返回与第一次查询相同的排序结果序列。也就是说,即便在后续翻页的过程中,可能会有新数据写入等操作,但这些操作不会对原有结果集构成影响。如何实现呢?可以创建一个时间点 Point In Time(PIT)保障搜索过程中保留特定事件点的索引状态。Point In Time(PIT)是 Elasticsearch 7.10 版本之后才有的新特性。原创 2024-01-25 15:18:02 · 1957 阅读 · 0 评论 -
HBase 基本概念
HBase 基本概念HBase集群中的角色一个或者多个主节点,Hmaster;多个从节点,HregionServer;HBase依赖项,zookeeper;组成部件说明:Client:使用HBase RPC机制与HMaster和HRegionServer进行通信Client与HMaster进行管理类操作Client与HRegionServer进行数据读写类操作Zookeeper:Zookeeper Quorum存储-ROOT-表地址、HMaster地址HRegionSer原创 2022-03-10 10:35:37 · 531 阅读 · 0 评论 -
HBase Rowkey散列和预分区设计
我们可以控制在建表的时候,创建多个空region,并确定每个region的起始和终止rowky,这样只要我们的rowkey设计能均匀的命中各个region,就不会存在写热点问题。自然split的几率也会大大降低。当然随着数据量的不断增长,该split的还是要进行split。像这样预先创建hbase表分区的方式,称之为 预分区。原创 2022-01-26 16:57:28 · 4397 阅读 · 0 评论