- 博客(12)
- 资源 (120)
- 收藏
- 关注
RSS订阅原创 Elasticsearch 路由计算
作为一个没有额外依赖的简单的分布式方案，ES 在这个问题上同样选择了一个非常简洁的处理方式，对任一条数据计算其对应分片的方式如下：shard = hash(routing) % number_of_primary_shards每个数据都有一个 routing 参数，默认情况下，就使用其 _id 值。将其 _id 值计算哈希后，对索引的主分片数取余，就是数据实际应该存储到的分片 ID。...
2018-11-30 20:23:57
588
原创 Elasticsearch segment merge对写入性能的影响
通过上节内容，我们知道了数据怎么进入 ES 并且如何才能让数据更快的被检索使用。其中用一句话概括了 Lucene 的设计思路就是"开新文件"。从另一个方面看，开新文件也会给服务器带来负载压力。因为默认每 1 秒，都会有一个新文件产生，每个文件都需要有文件句柄，内存，CPU 使用等各种资源。一天有 86400 秒，设想一下，每次请求要扫描一遍 86400 个文件，这个响应性能绝对好不了！为了解决这...
2018-11-30 20:21:14
8932
1
原创 Elasticsearch 一致性
突然想起一个问题，ES如何保证写入后，当前节点宕掉，不会发生数据丢失？一、动态更新的 Lucene 索引以在线动态服务的层面看，要做到实时更新条件下数据的可用和可靠，就需要在倒排索引的基础上，再做一系列更高级的处理。其实总结一下 Lucene 的处理办法，很简单，就是一句话：新收到的数据写到新的索引文件里。Lucene 把每次生成的倒排索引，叫做一个段(segment)。然后另外使用一个c...
2018-11-30 20:05:58
1389
原创 Kafka Partition分发策略
今天突然想起一个问题，当producer往kafka写数据的时候，如果不指定Patition，也没有指定Key的话，那么它是怎么做的负载均衡？通过查看kafka源码，发现Kafka Java客户端有默认的partition分配机制。实现如下： /** * Compute the partition for the given record. * * @param...
2018-11-28 19:21:29
1009
原创 ElasticSearch Kibana X-pack安装
一、ElasticSearch安装及开机自启此处搭建的是一个单机版，搭建集群的时候discovery.zen.ping.unicast.hosts与discovery.zen.minimum_master_nodes需要进行相应修改1、创建用户添加具有root权限用户useradd esvi /etc/sudoerses ALL=(ALL) NOPASSWD:ALL测试su...
2018-11-23 12:47:51
2645
转载 信用卡的支付清算
一、分享背景Hi 大家好，我今天给大家分享是信用卡清算方面的内容，今天的分享主要分四块来讲：定价模式业务流程清算流程常见问题二、分享内容1、定价模式首先给大家分享一下关于信用卡定价方面的内容，信用卡的定价根据卡组织会有不同的区别，所以先说明一下卡组织的区别。1.1 卡组织根据业务类型会分为：开放业务和封闭业务开放业务和封闭业务的区别主要在于业务的闭合程度（...
2018-11-22 19:36:44
3209
转载 MEMORY TUNING: KEY PERFORMANCE INDICATORS
When you are tuning the application’s memory & Garbage Collection settings, you should take well-informed decisions based on the key performance indicators. But there are overwhelming amount of m...
2018-11-21 12:22:32
578
转载 十问 TiDB ：关于架构设计的一些思考
“我希望能够把 TiDB 的设计的一些理念能够更好的传达给大家，相信大家理解了背后原因后，就能够把 TiDB 用的更好。”做 TiDB 的缘起是从思考一个问题开始的：为什么在数据库领域有这么多永远也躲不开的坑？从 2015 年我们写下第一行代码，3 年以来我们迎面遇到无数个问题，一边思考一边做，尽量用最小的代价来快速奔跑。作为一个开源项目，TiDB 是我们基础架构工程师和社区一起努力的结果...
2018-11-17 07:10:49
522
原创 error obtaining controller instance: failed to create NAT chain
操作系统版本：CentOS Linux release 7.4.1708 (Core)内核版本：Linux 554735 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 15:04:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linuxdocker 版本：Client: Version: 17.06.0...
2018-11-14 13:02:17
8100
2
原创 OceanBase 选举
1、RootServer主备每个集群一般部署一主一备两台RootServer，主备之间数据强同步，即所有的操作都需要首先同步到备机，接着修改主机，最后才能返回操作成功。RootServer主备之间需要同步的数据包括：RootTable中记录的tablet分布信息、ChunkServerManager中记录的ChunkServer机器变化信息以及UpdateServer机器信息。Tablet复制...
2018-11-13 08:59:54
856
原创 OceanBase 架构初探
1、设计思路OceanBase的目标是支持数百TB的数据量以及数十万TPS、数百万QPS的访问量，无论是数据量还是访问量，即使采用非常昂贵的小型机甚至是大型机，单台关系数据库系统都无法承受。一种常见的做法是根据业务特点对数据库进行水平拆分，通常的做法是根据某个业务字段（通常取用户编号，user_id）哈希后取模，根据取模的结果将数据分布到不同的数据库服务器上，客户端请求通过数据库中间层路由到不...
2018-11-13 08:44:14
24800
8
原创 Linux crontab
/var/spool/cron/ 这个目录下存放的是每个用户包括root的crontab任务，每个任务以创建者的名字命名，比如tom建的crontab任务对应的文件就是/var/spool/cron/tom。一般一个用户最多只有一个crontab文件。每小时执行一次:0 * * * * /home/XXXadmin/k8s-sync/syncer >> /home/XXXadmi...
2018-11-01 18:14:11
268
zookeeper开源客户端Curator
2017-03-25
zookeeper开源客户端ZkClient使用
2017-03-25
java cpu 内存占用高 问题 模拟并排查
2018-03-29
理解 channels - Kavya Joshi
2018-01-18
zookeeper常见应用场景简单实现及ppt
2017-03-26
zookeeper应用场景实现demo及ppt资料
2017-03-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人