其它
iteye_10418
这个作者很懒,什么都没留下…
展开
-
迟来的2013总结
春节后上班第一天,总结一下2013年做的事情。 1.Hadoop平台 2013Q1 HADOOP集群做了一次升级,增加一批机器,计算能力增加100%,存储能力增加70%; 2013Q2精简了之前的冗余的分区方式,之前不知道什么原因,hdfs除了按日期分partition, 还有两级目录,导致namenode内存有些吃紧,经过精简这两级目录之后,减少了约60%目录、文件,内存占用减少了70...2014-02-07 16:54:07 · 116 阅读 · 0 评论 -
2014年总结
今天是2014年最后一天,年三十,做个总结,总结一下2014年做过的事。 1.数据仓库计算平台升级 a.将数据表格式改为LZO压缩模式,历史数据压缩,数据压缩比为30%,节省了大量的存储空间 b.Hive整体升级至0.11版本 c.数据仓库服务器集群升级,增加几十台服务器 d.实时计算平台做了一些研究,包括Spark/Shark,Impala,Presto,不过都还在测试环境,要上生...原创 2015-02-18 14:52:11 · 122 阅读 · 0 评论