JAVA
明文存密码
这个作者很懒,什么都没留下…
展开
-
ExecutorCompletionService一不小心就会内存泄漏
我在定位苏宁智能告警平台内存泄漏过程中,发现ExecutorCompletionService的BlockingQueue占用了20%的堆内存。代码如下: CompletionService<Integer> exec = new ExecutorCompletionService<>( ExecutorUtils.getMu...原创 2018-08-29 15:58:03 · 1929 阅读 · 0 评论 -
Flume 源码解读之解析HDFS路径
项目升级需求: 需要通过flume采集过去时间段的日志,并存储到HDFS中,保证路径以 xxx/ymd=%Y-%m-%d/h=%H 来存储实践很简单:1)我们通过flume的RPCClient发送Event事件,给flume服务端,Event header中放入timeStamp headers.put("timestamp", data.getTime().toStrin...原创 2019-01-06 17:00:05 · 1749 阅读 · 2 评论 -
Datax支持kerberos认证
一、DataX很好用https://github.com/alibaba/DataX看到本篇之前,基本都从其他blog了解过datax(此处轻吹千字...)二、DataX不支持Kerberos由于阿里内部讨论过hdfs使用kerberos认证弊大于利,故不提供Kerberos认证能力。三、着手改造DataX由于我等厂商使用的是CDH组件,所以Hadoop都开启了Kerber...原创 2019-05-04 20:10:55 · 4499 阅读 · 0 评论 -
二叉树前序、中序、后序遍历Java和C非递归实现
写在前面 正巧在看《算法:C语言实现》这本书,翻到树遍历这一篇。文章中生动形象的列出了前、中、后序遍历二叉树的过程,和算法思路。恰逢我又失眠,然后想看下Java实现。发现大多人的实现并没有书中实现的那么直观,甚至有些晦涩,于是我整理了下书中提供的算法,供大家参考。话不多说 书中提到 ”为简单起见,我们从一个抽象栈开始考察,这个栈能够保存数据项或树,以将被遍历的树初...原创 2019-06-20 13:34:29 · 285 阅读 · 0 评论 -
DataX--TxtFileWriter不写数据问题
写在前面我在用datax开发同步工具插件,需要从kafka消费数据,写入HIVE中。测试工具的时候先使用TxtFileWriter作为writer,观察中间结果。遇到问题由于我在reader里面使用while(true)来消费数据。如下图,打日志发现数据读到了,也sendToWriter了,但是生产文件大小为0 public void startRead(RecordSe...原创 2019-06-11 10:26:19 · 2747 阅读 · 2 评论