- 博客(6)
- 收藏
- 关注
RSS订阅原创 带你认识kafka消费者组
kafka消费者组单播与多播topic与消费者组消费者组其他应用单播与多播创建topic ，这里创建名为yangcan，副本因子和分区都为1的topic：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic yangcan创建两个消费者，开启两个shell终端界面，充当两个消费者实例，消费yangcan这个topic的数据，同时指定消费组，组名
2021-03-31 21:54:17
3861
原创 kafka存储机制
kafka一个topic对应一个或多个partition，一个partition中的数据都是有序的，每个partition根据对应一个或多个segment。每个segment对应两个文件：.index和.log文件。kafka存储机制实验启动zookeeper命令：bin/zookeeper-server-start.sh config/zookeeper.properties启动kafka命令：bin/kafka-server-start.sh config/server.propertie.
2021-01-01 15:20:13
370
原创 ElasticSearch数据写入流程
当有新数据写入时，会被写入到indexing buffer当中。此时数据还不能被search到，通过refresh操作将JVM堆内存中的indexing buffer中的新数据刷到OS的filesystem cache上面，这时在filesystem上的数据会形成segment（基于lucence的倒排索引文件）可以被search到。indices.memory.index_buffer_size 接受百分比或字节大小的值。 它默认为10％，这意味着分配给一个节点的总堆栈的10％将用作所有分片共享的索.
2020-12-25 01:06:05
357
原创 解决ElasticSearch深度分页机制中Result window is too large问题
问题描述：ES深度分页机制为防止内存溢出默认阈值为10000，当读取数据>10000时会出现 “Result window is too large”问题解决方案：修改分页机制最大窗口值命令（我这里将窗口设置成30000）：curl -XPUT http://127.0.0.1:9200/situation-event/_settings -d '{ "index" : { "max_result_window" : 30000}}'注意：窗口值设置不宜过大。数据量太大场景，根据es深度分
2020-12-23 10:31:35
492
原创 你要的PostgreSQL命令
PostgreSQL常用命令*持续更新----------------------------*进入PostgreSQL查看数据库大小查看数据表大小查看索引大小查看表的索引查看数据库表的磁盘文件路径设置主键自增序列最大值（解决insert时主键冲突）查看当前正在执行的sql任务查询pg当前连接数查询pg最大连接数执行sql文件回收表空间持续更新----------------------------进入PostgreSQL#两条命令su -postgrespsql #此时已经进入pg了查看数
2020-11-29 21:55:12
147
原创 优先队列 priority_queue简单使用
优先队列：基本操作：empty( ) //判断一个队列是否为空pop( ) //删除队顶元素top( ) //返回优先队列的队顶元素push( ) //加入一个元素size( ) //返回优先队列中拥有的元素个数优先队列的时间复杂度为O（logn）参考堆，n为队列中元素的个数，其存取都需要时间。c++：priority_queue 默认为大根堆证明：#include&...
2020-02-29 13:03:15
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人