- 博客(9)
- 资源 (4)
- 收藏
- 关注
转载 Java并发编程:线程间协作的两种方式:wait、notify、notifyAll和Condition
Java并发编程:线程间协作的两种方式:wait、notify、notifyAll和Condition
2015-12-16 11:04:57 384
原创 根据目前业务优化的新架构
接收的数据量目前有10倍增长,行为数据每天已有6000w数据量,后续肯定还会有10倍的增长。1数据的接收、接收数据决定就用kafka(高的数据吞吐量,还可以作为短期的缓存,可作为数据核查和补数据用)。2数据清洗、mr直接从kafka从获取数据进行清洗(去重,过滤,编码),生成宽表文件放到hdfs上,(这一步千万不要做拆表,不然后续需要join就会很耗时,此处是空间换时间)。3hbase
2015-12-11 10:45:11 387
转载 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
转载地址:http://www.cnblogs.com/jasondan/p/4011153.html关于CDH和Cloudera ManagerCDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生
2015-12-07 20:05:39 665
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人