数据库链接长时间无数据交互,发生线程阻塞情况

  背景:  在执行双机房部署的时候,因为应用长时间未访问数据库,导致后面访问的数据库的线程都被挂起。   现象分析: Java代码  "Thread-74" daemon prio=10 tid=0x00007f184004400...

2017-12-13 13:54:43

阅读数 166

评论数 0

数据迁移方案及优化

 1.迁移的流程   数据通过Ogg抽取Oracle增量数据到苏州flume集群 在flume集群对数据脱敏 同步数据到kafka集群 在滨江数据拉取数据到hbase集群   优化 (1)可扩展性 保证没有单点性能问题,每个流程都是可扩展的。苏州flume集群,滨江kafka...

2016-05-17 18:59:46

阅读数 82

评论数 0

ElasticSearch 性能优化

GeTrace系统的所有搜索都是用ElasticSearch来做的,在使用ElasticSearch的过程中碰到了一些问题,这里记录一下。   一 . 在查找调用链的时候。整体数据量大(每天60G * 7 = 420G),但是结果集比较少(只有几百行)的时候,查询时间经常会超过1分钟,慢的...

2016-01-29 13:22:28

阅读数 21

评论数 0

Neo4j批量插入性能优化

  一. 原生的远程操作接口 Neo4j原生的直接可用的插入方式有以下几种: 1.    Rest api执行Cypher语句 public boolean flush() { if (sqlCache.size() != 0) { ...

2016-01-29 12:36:42

阅读数 180

评论数 0

Least Activity LoadBalance配置

背景:   前段时间,发生了某个服务节点发生问题,被阻塞时,影响了整套系统的运行。期望在运行的时候,当某个节点发生问题的时候,上级服务可以调用另一个可以节点,不会影响整套系统。   分析: 主要是不可用节点阻塞达30秒以上,我们使用的是random loadbalance的负载均衡策略...

2015-11-14 23:05:37

阅读数 15

评论数 0

Dubbo不能优雅停机,导致停止服务的时候,业务掉单

Dubbo 优雅停机修改方案   1.      服务端不能优雅停机的原因: NettyServer在构造函数中会调用 ChannelHandlers.wrap(handler, ExecutorUtil.setThreadName(url, SERVER_THREAD_POOL_N...

2015-11-03 12:57:20

阅读数 162

评论数 0

数据库链接长时间无数据交互,发生线程阻塞情况

背景:  在执行双机房部署的时候,因为应用长时间未访问数据库,导致后面访问的数据库的线程都被挂起。   现象分析: "Thread-74" daemon prio=10 tid=0x00007f1840044000 nid=0x387b runnab...

2015-11-03 12:06:21

阅读数 80

评论数 0

Zookeeper故障总结

背景: 10月29号,系统切换的时候,发生了master信息的变更,有个监听master信息的系统未收到zookeeper的通知。   分析: 原代码如下所示, 监听系统中用以下代码来监听path中数据的变更。当数据发生变更的时候,会回调process方法,然后处理相应的业务。(我们使用...

2015-11-01 19:55:54

阅读数 77

评论数 0

Kafka的producer

producer示例代码   Producer producer = new kafka.javaapi.producer.Producer<Integer, String>(new ProducerConfig(props)); String...

2015-06-15 13:35:13

阅读数 11

评论数 0

Kafka的consumer

Consumer的使用示例代码 //创建soncumer connector ConsumerConnector consumer = kafka.consumer.Consumer.createJavaConsumerConnector( createC...

2015-06-14 17:37:23

阅读数 22

评论数 0

Kafka启动的流程

调用KafkaServer的startup方法启动kafka /** * Start up API for bringing up a single instance of the Kafka server. * Instantiates the LogManager, t...

2015-06-14 17:30:13

阅读数 24

评论数 0

Netty ByteBuf的使用

Netty的ByteBuf主要用于网络传输,有读写两个index。  *      +-------------------+------------------+------------------+  *      | discardable bytes |  readable byte...

2015-04-06 17:33:57

阅读数 74

评论数 0

ByteBuffer深入学习

背景   最近在研究netty的源代码,发现netty的内存管理都是用jdk的ByteBuffer。为了更深入的了解bytebuffer,因此有了这篇文章   ByteBuffer的基本组成 ByteBuffer 的基本函数http://kakajw.iteye.com/blog/1...

2015-04-04 20:13:45

阅读数 36

评论数 0

Spring事务配置

Spring事务配置的五种方式: http://blog.csdn.net/hjm4702192/article/details/17277669 源代码分析: TransactionManager中定义了getTransaction,commit,rollback方法。用于在事务失败或成功...

2014-09-09 09:19:08

阅读数 9

评论数 0

concurrent- ConcurrentLinkedQueue

ConcurrentLinkedQueue使用了Unsafe的cas机制保证了线程的安全,用peek方法为例   public class ConcurrentLinkedQueue<E> extends AbstractQueue&am...

2014-08-16 19:28:29

阅读数 15

评论数 0

Java内容的复习-Performance 调优

1. CPU 2. Memory 3. Disk 4. IO 5. JVM http://blog.chinaunix.net/uid-24020646-id-1992032.html

2014-08-16 19:27:22

阅读数 15

评论数 0

面试总结

面试总结

2014-08-16 19:26:35

阅读数 15

评论数 0

Java内容的复习-大数据

Spark Spark streaming和storm的区别是(两者都是分布式流处理框架)http://www.jdon.com/46591 : 1.Spark支持保持状态 2.Spark有数据平滑窗口(sliding window),而后者需要自己去维护这个窗口 3.Spark是需要...

2014-08-16 19:20:28

阅读数 35

评论数 0

Java内容的复习-Spring和hibernate

Spring http://www.cnblogs.com/linjiqin/p/3573151.html http://wenku.baidu.com/link?url=TstWbtOELC5Y0fNfmYJr4T3Dghz0IIcXehCiWxE9NvfVlIs6UT5q6eqCczz...

2014-08-16 19:17:20

阅读数 21

评论数 0

Java内容的复习-OI项目面试

OI OI是一个告警系统。用flume收集OC client上传的数据,然后传到spark,spark再对数据进行分析,生成一些metrics键值对,然后发到graphite做显示,seyren定期去graphite查询metrics键值对,当某个metrics超过伐值的时候报警给分析人员,...

2014-08-12 21:48:58

阅读数 23

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭