SemgHH-CSDN博客

原创 ElasticSearch 分片

数据存储在elasticsearch index中，并且可能会增长非常多。为了保证管理性， elasticsearch index 被分割成多个 shard （分片）。每一个 shard 都是一个 lucene 索引 , 每一个独立的 lucene索引都是【这个elasticsearch索引中文档】的一部分。理想状态下，每个shard的数据是 30GB-50GB ，因此如果一天会有300GB数据，那么这个索引的分片数量为10个是合理的。

2024-11-07 13:37:53 513

原创 elasticsearch快照存储和恢复

背景：由于同事误操作，公司的elasticsearch集群Linux被强制断电了，导致文件系统受损变为read only状态。一开始的解决方案是：尝试文件系统，但总是在数天以后再次read only。只得准备将elasticsearch 索引数据做快照，然后回放到全新的操作系统中。下面是参考官方文档（elasticsearch 7.17）的快照。

2024-10-24 16:12:42 537

原创 Clickhouse 物化视图

example：假设我们想要获取一个帖子每天的赞成票数和反对票数。在使用FROM votesLIMIT 10这样的查询已经很快了，但我们能做到更好吗？如果我们想在插入数据的时候计算，那么我们应该使用物化视图。这个表每天仅应该保存1条数据。如果一条数据插入时，并且target表中已经存在当天数据，那么应当将update操作合并到已有的行中。想要进行这样的增量操作，必须为存储其他列部分。

2024-08-22 12:42:31 1338

原创 Error response from daemon: Get “https://address:port/v2/“.http: server gave HTTP response to HTTPS

搭建docker版本的Jenkins，需要使用 docekr:dind 来实现容器内执行 docker 命令。现有需求期望登录到 docker 私库Harbor ，在jenkins容器内执行。在启动 docker:dind 命令时添加。显然是私有库非https导致。大部分的中文解决方案是修改。按照Jenkins的。

2023-09-26 13:36:04 1344

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人