笔记
lw305080
这个作者很懒,什么都没留下…
展开
-
企业级架构几个关键点
企业级系统架构几个关键点原创 2015-11-06 17:11:34 · 306 阅读 · 0 评论 -
根据目前业务优化的新架构
接收的数据量目前有10倍增长,行为数据每天已有6000w数据量,后续肯定还会有10倍的增长。1数据的接收、接收数据决定就用kafka(高的数据吞吐量,还可以作为短期的缓存,可作为数据核查和补数据用)。2数据清洗、mr直接从kafka从获取数据进行清洗(去重,过滤,编码),生成宽表文件放到hdfs上,(这一步千万不要做拆表,不然后续需要join就会很耗时,此处是空间换时间)。3hbase原创 2015-12-11 10:45:11 · 387 阅读 · 0 评论 -
ip
ip原创 2015-11-20 19:50:34 · 248 阅读 · 0 评论 -
hdfs数据压缩方案
hdfs 数据压缩方案。原创 2015-11-11 11:19:33 · 588 阅读 · 0 评论