- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 从源码分析Kafka客户端发送消息的大致流程
从源码分析Kafka客户端发送消息的大致流程版本说明源码分析学习总结版本说明基于Kafka 0.10的版本源码总结一下发送消息的大致流程源码分析 @Override public Future<RecordMetadata> send(ProducerRecord<K, V> record) { //调用重载的send方法 return send(record, null); } @Override public Futu
2021-05-09 22:20:03
216
原创 ThreadLocal原理理解与源码分析
java中的ThreadLocal相信很多人都有使用过,但很多人仅知道它的用法和作用(本地变量副本,用于管理数据库连接,Session等),但对它的原理可能还没有太多认识. 最近自己翻了下它的源码,把自己的理解和想法写下来与大家分享. ps:本文参考的源码版本为JDK1.81. 什么是ThreadLocalThreadLocal，很多地方叫做线程本地变量，也有些地方叫做线程本...
2018-05-31 15:58:22
359
原创 异步处理hive-jdbc执行请求
最近需要使用hive服务进行标签计算任务,故需要使用hive-jdbc在后端搭建服务,以执行前端发送的hql语句. 由于hive的计算常需要运行MR/SPARK任务,所以一个hql语句(如count语句)往往要等待很长时间才能完成,若采用同步等待的方式,前端的http连接需要等待若干分钟才能返回,又由于标签计算任务的数量不可预计,即使扩大连接池也无法保证全部处理前端发来的计算请求.针对这...
2018-05-21 17:37:36
2574
4
转载 hive 时间函数 总结
为了避免遗忘，以及后续各种抓瞎到处乱找，特意总结了hive中大部分常用的时间函数，方便自己也方便他们。1.unix_timestamp()返回当前时区的unix时间戳 返回类型：bigint hive (tmp)> select unix_timestamp() from hive_sum limit 1; 1465875016...
2018-03-02 10:33:36
788
转载 http长短连接与tcp长短连接的联系与区别
参考链接: http://www.zhoulujun.cn/zhoulujun/html/webfront/SGML/web/2015_1016_317.html
2017-11-10 11:48:42
823
原创 jersey2.x集成http连接池过程总结
背景: 最近在用jersey作为代理请求公司后台的restful API取得后端的一些,jersey默认是每来一个请求就新发起一个http连接到后台中一、为什么使用连接池提高网络传输效率:如果一次请求获取的信息量较少,那么在整个请求周期中,网络上的信息传递将会非常低效.因为建立连接时在网络上传递的数据(用于同步等)远大于我们想要的目标数据 降低延迟：如果不采用连接池，每次连接发起Ht
2017-11-10 10:57:30
2415
转载 Linux系统下top命令详解
由于做服务器程序的调优时常是需要使用top命令进行分析,但该命令涉及的参数太多,背后的概念又不好记,就在这里记一下,以备查阅.top命令是进行性能分析最常使用的命令，也是最重要的命令。每个参数代表什么意思，都必须非常清楚。top - 07:01:15 up 10:57, 3 users, load average: 0.00, 0.04, 0.13Tasks: 238
2017-11-03 16:47:41
384
原创 Zookeeper分布式锁简单实现(JAVA)
近段时间尝试用可视化界面把zookeeper的数据集成到公司的后台系统中展示,进而查阅了资料研究zookeeper的使用,于是看着看着就手痒想用它的API实现一个简单的分布式锁. 本程序实现的分布式锁适用于集群单点故障,leader选举等场景下面先从一下几个方面描述一下分布式锁的概述,问题及程序解决思路1. 概述分布式锁在一组进程之间提供了一种互斥机制。在任何时刻，在任何时刻只有一个进程可以
2017-10-28 18:30:16
689
原创 嵌套（任意层）JSON解析转换为Map
最近需要检验系统多次返回的json结果是否相同，以保证系统升级后的功能一致，所以产生了编写json转换程序的需求。由于小弟编程能力尚浅，有些特殊情况的转换没能考虑好，希望各位可以提出，或者贴出更完善的解析程序供大家分享，先在此处抛砖引玉了。 以下程序用于把多层嵌套的json字符串转换为平层的Map，以方便在后续的测试程序中对比结果。 源代码：import net.sf.json.JSON
2017-08-12 19:42:28
12878
8
原创 Buffer（ByteBuffer）以及flip,clear及rewind区别
Buffer 类定义了一个可以线性存放primitive type数据的容器接口。Buffer主要包含了与类型（byte, char…）无关的功能。 值得注意的是Buffer及其子类都不是线程安全的。每个Buffer都有以下的属性： 1. capacity 这个Buffer最多能放多少数据。capacity一般在buffer被创建的时候指定。 2. limit 在Buffer上进行的读写操
2017-08-12 19:09:48
4483
2
原创 Java中json字符串的格式转换（缩进换行）
最近项目用到com.fasterxml.jackson.databind.ObjectMapper把对象转换为json字符串，但是它的输出总是只有一行的结果，如：{"queryType":"lucene_timeseries","dataSource":"druid-test","granularity":"all","context":{"timeout":1800,"useOffheap":tr
2017-07-29 11:08:31
16552
4
转载 Kafka的Log存储解析
转自：http://blog.csdn.net/jewes/article/details/42970799Kafka的Message存储采用了分区(partition)，分段(LogSegment)和稀疏索引这几个手段来达到了高效性。
2017-07-22 17:28:40
262
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人