anxing1913-CSDN博客

转载 tantivy&lucene功能，写入性能对比

硬件概述：cpu：24，内存：20g，磁盘：10*2.7T。写入性能：（不对ip进行添加geo信息）。写入性能对比速度Commit耗时（秒）500*1000条Bulk耗时（秒）1000条dnsBulk耗时（秒）1000条tcpflowBulk耗时（秒）1000条weblogCp...

2019-09-09 17:35:00 1233

转载 lucene&tantivy对比

写入对比每个路径下都只能有一个IndexWriter负责写入，通过writer.lock实现。不同：lucene可以多个线程共享一个IndexWriter，每个线程负责写一个segment，从addDocument到index都用es bulk线程。详见：https://www.cnblogs.com/vsop/p/10162326.htmltantivy只能一个线程来addDocume...

2019-09-03 18:26:00 284

转载 netty线程模型

启动ServerBootstrap时，由main（启动线程）初始化bossGroup和childGroup，启动boss NioEventloop对应的thread，将NioServerSocketChannel（监听的端口）注册任务添加到该NioEventloop的taskQueue。线程启动后监听连接（ServerBootstrapAcceptor.channelRead）并runA...

2019-06-20 11:53:00 118

转载 NioEventLoop.run select处理IO事件（boss/worker）流程：

NioEventLoop.run select处理IO事件（boss/worker）流程：processSelectedKeysprocessSelectedKeysOptimizedprocessSelectedKey以read为例:unsafe.read()NioServerSocketChannel（boss)//读取accept connectAbstractNioMessage...

2019-06-20 11:25:00 168

转载 NioEventLoopGroup中的nThreads和executor

NioEventLoopGroup只传入nThreads即可，创建nThreads个NioEventLoop，boss为NioEventLoop注册建立的channel时，使用默认的ThreadPerTaskExecutor.execute为每个NioEventLoop一对一创建thread，NioEventLoop.run for(;;)一直select 并处理注册的channels。...

2019-06-19 18:21:00 483

转载 mat 服务器分析大堆，本地打开

1：服务器执行nohup sh /usr/local/mat/ParseHeapDump.sh es9.bin org.eclipse.mat.api:suspects org.eclipse.mat.api:overview org.eclipse.mat.api:top_components >aaa.out 2>&1 &2：把es9.bin拷到本地，用m...

2019-05-29 18:35:00 213

转载 jmap Unable to open socket file解决

pid:Unable to open socket file: target process not responding or HotSport VM not loadedThe -F option can be used when the target process is not responding.解决办法：切换到进程用户 &cd 到进程用户文件夹下。转载...

2019-05-29 14:40:00 3805

转载开发调式时生成dump文件

开发调式时，对程序生成dump文件：1：需要生成的时机，加Thread.sleep(600*1000)。2：打开jvisualvm找到该程序进程号。3：jmap。转载于:https://www.cnblogs.com/vsop/p/10877391.html...

2019-05-16 18:54:00 130

转载 fielddata breaker与cache size

breaker的估算，是根据语句以及上层的结果数，加上固定的值，不准确。cache.size是cache到结果的size，准确。所以，配置breaker不能拦截占用内存的聚合查询，而配置cache.size可以限制cache占用的内存。keyword，ip等类型的聚合也会占用fielddata，但不会引起breaker。GlobalOrdinalsBuilder...

2019-04-09 18:03:00 155

转载 safepoint与UseCountedLoopSafepoints

safepoint: JIT编码时，会在代码中所有方法的返回之前，以及所有非counted loop的循环（无界循环）回跳之前放置一个safepoint(counted loop则没有放置safepoint）。GC 等操作时，需要所有线程达到safepoint。UseCountedLoopSafepoints:可以避免GC发生时，线程因长时间运行counted loop，进入...

2019-02-15 15:34:00 671

转载怎样提高ES集群的稳定性？

别挂master节点。稳定性：独立的master节点，独立的协调节点 > master兼职协调节点 >master兼职数据节点 > master 兼职协调 + 数据节点。clusterstate，fetchdata。转载于:https://www.cnblogs.com/vsop/p/10215722.html...

2019-01-03 17:22:00 401

转载节点回来shard仍然delayed原因

1：es2 fetch shard data时，存在节点刚加入集群，还没有收到cluster metadata的情况。此时，节点因为没有该索引，返回的sharddata为empty，主节点缓存了该sharddata，且不再fetch。修改：不缓存empty的sharddata。es5中节点没有收到cluster metadata时，会加载磁盘上的metadata。2：es中alloc...

2018-12-22 21:36:00 126

转载 shrink&split

shrink将分片数按因子缩减。hard link segment文件。因缩减前后hash一致，不需要rehash。如：0 ，1 ， 2， 3， 4， 5， 6， 7， 8。9个分片缩减成3个：0 [0， 3， 6]， 1 [1，4， 7]，2 [2，5， 8]。split将分片按因子扩张。hard link segment文件。扩张后，分片中有不属于该分片的数据，需要遍历删除不属于...

2018-12-22 21:25:00 113

转载 lucene segment的产生，flush， commit与es的refresh，flush

1 segment的产生当索引一个文档时，如果存在空闲的segment（未被其他线程锁定），则取出空闲segment list中的最后一个segment（LIFO)，并锁定，将文档索引至该segment，找达到flush条件的segment，然后解锁，归还至空闲segment list，如果有达到flush条件的segment，flush该segment（同步执行）。如果不存...

2018-12-22 20:39:00 1479