lilyjoke的专栏

Live and Learn

基于flume框架的ORCSink开发中遇到的坑(一)

最近做了一个基于flume 1.7 的sink,用于写hdfs orc文件,中间遇到了几个坑,下面把思路和遇到的问题一一记录下来。 1. 开发思路 首先的实现场景是这样的:从channel拿数据-->sink拿到数据后做分类-->分类后将数据写入对应...

2018-08-02 17:59:46

阅读数 209

评论数 1

flume的事务实现

在flume的内部实现中事务是一个重要的概念,事务保证了数据的可用性(有别于数据库中的事务)。 下图的数据流是spooling directory source-> memory channel-> kafka sink,其中memory channe...

2018-08-02 17:29:00

阅读数 543

评论数 0

orc文件写入+GC调优+java多线程+java静态类

好久没总结,说来惭愧,做了4年的开发,但是对于基础的概念总结还是很不完善,最近有可以写的东西,先做个引子和总结,等有空来写。 1. flume自定义sink,用于写orc文件,直接挂到hive表上,相当于直接入库了。 2. 并发程序中出现OOM的调优过程 3. 并发概念总结 4. 静态类的...

2018-07-17 15:26:23

阅读数 89

评论数 3

备份

https://stackoverflow.com/questions/1991042/what-is-the-advantage-of-using-abstract-classes-instead-of-traits

2018-03-27 10:16:42

阅读数 50

评论数 0

flume spoolDirectory Source原生代码流程及其拓展

最近小组要在flume的基础上做定制开发,以满足公司内部的业务使用。我这块主要的开发是对zip包中的文件做一定的处理后,以avro方式序列化,写入kafka。整个流程参考了flume的spoolDirectorySource的实现,因为主要是对spooldirectorySource中文件解析的部...

2017-09-08 16:12:55

阅读数 1143

评论数 0

通过ICE接口对hbase进行文件操作

最近开发了几个对集群做文件操作的模块,都是基于python(2.7)。下面记录一下对通过ICE接口,写HBASE的模块,贴出部分代码。 1. 关于ICE ICE是一个中间件,我们可以通过ICE,不考虑server和client分别是什么,进行跨集群的操作。ice已经有很多资料可供学习,...

2017-02-21 18:42:39

阅读数 620

评论数 0

基于pyhdfs接口对hadoop进行文件操作

最近开发了几个对集群做文件操作的模块,都是基于python(2.7)。下面记录一下对hdfs做文件操作的模块,贴出部分代码。 1. pyhdfs(PyHDFS-0.1.2.tar.gz), 依赖包 requests simplejson 2. 代码及解说 因为之前没有判断把文件写到hdfs...

2017-02-21 18:32:39

阅读数 2231

评论数 0

大数据运维框架(三)--运维框架参考:CDH cloudermanager & apache ambari

666

2016-10-12 09:52:55

阅读数 998

评论数 0

大数据运维框架(二)--ansible的离线安装

网上有很多ansible安装的文章,但是局限于工作电脑是在局域网,无法在线获取安装包,于是整理了一个离线安装的脚本,亲测可用 1. 安装环境 RHEL 6.4 自带python 2.7 2. 需要提前准备的安装包 其中有一些包有多个版本,选择其中一个就可以,同时要注意修改脚本中的对应路径 ...

2016-10-09 10:00:28

阅读数 2288

评论数 0

hadoop权威指南读书总结

最近在看hadoop权威指南,巩固一下hadoop的基础知识。 首先,hadoop是什么呢? Hadoop起源于Nutch, 源起于实现对海量数据的处理方式,中文也称之为‘云计算’。Hadoop就是云计算中的一个开源项目,它克隆了Google运行系统的主要框架,包括文件系统HDFS,计算架构Map...

2016-10-08 17:57:58

阅读数 1001

评论数 0

大数据运维框架(一)--几类比较常用的自动化运维工具

最近老大在做一个组内的大数据平台,基于spark框架,配套的,需要一个自动化运维平台来对组内业务的部署和配置和程序预警做一个支持。如此光荣的任务,老大交给了我,原因是啥do

2016-07-03 11:41:23

阅读数 9928

评论数 0

kafka入门:简介、使用场景、设计原理、主要配置及集群搭建http://www.aboutyun.com/thread-9341-1-1.html

文章转自:http://www.aboutyun.com/thread-9341-1-1.html 问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信...

2016-05-29 19:32:31

阅读数 898

评论数 0

基于WIFI direct的即时聊天app开发(一)

最近和几个同事在闲余时间做了一个基于WIFI direct的即时聊天的app,我做的部分比较简单,负责实现的是聊天历史记录,以及删除的功能,因为知道自己的部分比较简单,所以也自告奋勇承担了UI的设计,所以之后的内容大概会是: 1. 聊天历史记录的功能实现 2. 一些UI的七七八八 3. 其他几个重...

2016-03-10 16:52:46

阅读数 1132

评论数 2

c/c++ 面试积累

面试中遇到的问题,慢慢积累 1.基类中的一个虚函数,在其派生类中实现了重载,然后一个基类的对象指针,调用此虚函数事,实际会调用到其派生类的重载方法,问 c++怎么实现的? 答:通过虚函数表 http://blog.163.com/wmk_2000_ren/blog/static/138846...

2016-02-22 09:34:41

阅读数 273

评论数 0

4G(LTE)背后的技术和利益纠结——VoIP,VoLTE,SIP,IMS的前世今生

不管国内的3G的发展是多么的怪异,中国移动是多么的苦逼地半推半就发展着TD-SCDMA这个“国产”的3G,也不管你究竟有没有反应过来,4G是又快要来了,但即使4G经过了这么多年,被通讯界的大佬们(3GPP,3GPP2,OMA,GSMA等等)反复讨论了n多遍,发了多少版Release标准化文档,一众...

2016-02-16 14:29:33

阅读数 1347

评论数 0

VoLTE、VoWiFi和VoIP有什么不同?

转载来源,仅作个人记录保存: http://www.mscbsc.com/bbs/thread-572904-1-1.html 先谈谈VoLTE! 关于VoLTE是如何工作的?这可以写上一本书。今天,我试试用几幅图能否简单解释清楚? 传统的语音业务工作于电路交换(circuit switch...

2016-02-16 10:43:39

阅读数 2143

评论数 0

动态规划:从新手到专家

March 26, 2013 作者:Hawstein 出处:http://hawstein.com/posts/dp-novice-to-advanced.html 声明:本文采用以下协议进行授权: 自由转载-非商用-非衍生-保持署名|Creative Commons BY-NC-ND 3.0 ...

2015-09-11 13:56:00

阅读数 326

评论数 1

android telephony 工作流程(五)-- 对ICC卡EF文件进行读写的流程

这一篇将会总结第四个主线:当ICC卡状态更新结束以后,对卡上的EF文件进行读写的流程,照例先上图:   对卡上文件的信息读写操作主要在IccRecords.java和IccFileHandler.java里,看上图可以发现,根据卡上App类型的不同,衍生出了不同的子类,主要看SIMRecords...

2015-05-08 10:12:03

阅读数 2052

评论数 0

android telephony 工作流程(四)--iccCardProxy & PhoneProxy 更新属性值

上一篇总结icc card和app的更新过程,更新结束以后,会发出ready通知,如下图,第三主线的主要内容是,iccCardProxy.java通过UiccController监听状态变化信息,并更新上层的一些属性值:       1.iccCardProxy.java   当UICC car...

2015-05-07 16:45:12

阅读数 2027

评论数 0

android telephony 工作流程(三)--UICC CARD & APP 更新

上一篇总结了注册监听状态的实现机制,这一篇将会总结在UiccController监听到状态改变以后,对卡以及卡上的app创建或更新的流程,继续放之前的流程图:       1. UiccController.java   在UiccController.java中,当监听到底层上传的ICC状态变...

2015-05-07 15:44:08

阅读数 1333

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭