spark
山水之间的雪人
这个作者很懒,什么都没留下…
展开
-
spark 框架分析 (一)
spark代码中主要的一个基础组件是akka (原创 2014-04-18 14:11:48 · 1212 阅读 · 0 评论 -
scala编程语言使用slick进行数据库操作
以postgresql为例,使用slick orm工具进行scala原创 2014-05-09 16:35:27 · 3714 阅读 · 1 评论 -
自定义的flume-ng的postgresql数据库sink
flume-ng本身支持的sink没有postgresql数据库的,正好现在有这样的需求,将日志记录按字段分隔存储到数据库中,所以自定义这样一个sink,用JAVA开发 使用flume-ng提供的一些sdk和jar包,数据库映射相关采用mybatis,直接上程序 该实例程序用tail -F 监听文件,对新输入的每一行日志记录,用空格切分,取第一个字符串在控制台输出并存入数据库原创 2014-12-11 14:31:26 · 3215 阅读 · 1 评论