hive
文章平均质量分 72
superye1983
这个作者很懒,什么都没留下…
展开
-
Hive笔记--安装
Hive的安装其实很简单下载tar包解压,然后配置一下HIVE_HOME和系统PATH就可以了 然后运行hive Logging initialized using configuration in jar:file:/home/kira/src/hive/current/lib/hive-common-0.8.1.jar!/hive-log4j.properties Hive histor原创 2012-09-10 16:28:01 · 13935 阅读 · 4 评论 -
Hadoop Archive小记
Hadoop中所有文件的信息都记录在Namenode的内存中 因为Hadoop的设计是处理大数据,理想的数据文件应该是BLOCKSIZE的倍数 为了避免小文件占用过多的系统内容,Hadoop提供了Archive来管理小文件 不过har有可能使用的不是很多,在hive,pig,甚至hadoop中都有一些BUG,很多应用都有问题 在这里做个记录 1.文件夹模糊匹配 在使用hadoop原创 2012-12-03 16:21:33 · 1865 阅读 · 0 评论 -
在pig中读取RCFILE文件
RCFILE是FACEBOOK公司使用的一种数据存储结构 通过把相同列的数据存放在一起从而得到一个很高的压缩比 RCFILE集成在HIVE中,在HIVE并没有提供PIG读取数据的结构 但是在PIG的第三方库中有人贡献了读取RCFILE的PIGLOAD接口HiveColumnarLoader 使用方法很简单: /*先注册jar包,需要用到的有这样3个*/ register /tmp/pi原创 2012-12-10 14:34:15 · 1661 阅读 · 0 评论