- 博客(3)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 Hive小文件合并
Hive的后端存储是HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。但是在数据仓库中，越是上层的表其汇总程度就越高，数据量也就越小。而且这些表通常会按日期进行分区，随着时间的推移，HDFS的文件数目就会逐渐增加。小文件带来的问题关于这个问题的阐述可以读一读Cloudera的这篇文章。简单来说，HDFS的文件元信息，
2015-01-31 15:23:04
67929
2
原创 shell中date命令对month进行加减操作的bug
shell脚本中如何取上个月的月份呢？很容易能想到下面的命令：date +%Y%m -d '-1 month'或者date +%Y%m -d 'last month'在大部分情况下这个命令运行正确。但是有些情况下这个命令会出现问题，比如当前日期是3月30、3月31、5月31等的时候，上面的命令得到的结果还是当月，而不是我们期望的上
2015-01-15 12:58:53
9292
原创 spring中强大的bean操作类BeanWrapper
对于bean属性的操作，大家熟知的主要有下面这些工具类：Apache的BeanUtils和PropertyUtilscglib的BeanMap和BeanCopierspring的BeanUtils但是最近我发现，在spring中有一个更强大的操作bean的类BeanWrapper，它的强大体现在下面两个方面：支持设置嵌套属性支持属性值的类型转换（设置Conversi
2015-01-15 12:48:37
9205
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人