liuwei063608的专栏

刘伟的随笔

垃圾新浪微博

本人微博密码和任何密码都不相同 微博号被盗了,自动发微博,关注别人,转发消息~~~ 不知道是新浪问题还是谁的问题

2016-06-28 14:50:32

阅读数:304

评论数:0

Impala与Hive的比较

1. Impala架构        Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具,Impala没有再使用缓慢的Hive+MapReduce批处理,而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Plan...

2016-06-23 15:03:51

阅读数:176

评论数:0

Hadoop 通用数据摄取框架 Gobblin

Gobblin 是 Hadoop 通用数据摄取框架,可以从各种数据源中提取,转换和加载海量数据。比如:数据库,rest APIs,filers,等等。Gobblin 处理日常规划任务需要所有数据摄取 ETLs,包括作业/任务规划,任务分配,错误处理,状态管理,数据质量检测,数据发布等等。 G...

2016-06-20 16:51:21

阅读数:479

评论数:0

Hadoop中HDFS常用命令

hadoop fs -mkdir /tmp/input              在HDFS上新建文件夹     hadoop fs -put input1.txt /tmp/input  把本地文件input1.txt传到HDFS的/tmp/input目录下    hadoop fs...

2016-06-15 11:47:57

阅读数:176

评论数:0

Collections shuffle 随机排序

随机排序除了Random之外Collections  shuffle非常方便 List clouds=new ArrayList6);   Collctions.shuffle(clouds);  司都年会抽奖,原来java中,容易忽略的是shuffle,它居然可以  ...

2016-06-15 10:42:17

阅读数:1161

评论数:1

最近工作,发发牢骚

好久没写博客了,是因为工作忙,还是自己变懒了呀,成天改bug挺消磨工作激情的,项目上线了出现了各种各样的bug,二期项目都做快完了,一期还在不停地出现bug,还要不停的进行维护,那堆烂代码想重构有没有足够的时间,抽时间有没有足够的数据验证。比较烦,今天没啥事到这来发发牢骚,公司和部门之间的利益纠缠...

2016-06-13 10:55:07

阅读数:268

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭