guiyuguiyu的博客

         hadoop支持多用户环境，在生产环境中，往往一个大的hadoop集群，供多个应用如Hive，Mahout等之类的使用。在多用户环境下，有的用户提交的工作量很大、很频繁，而有的很少，还有的优先级很高，那么如何保证“按需”来为各个用户分配资源（内存、CPU、带宽、IO、磁盘）呢？这就需要用到资源调度器。         这里，我对hadoop的资源调度做个简单的归纳总结：  ...

        在hadoop领域，上T数据的存储和处理是非常常见的。不同的存储格式和压缩组合能为存储和性能带来效率。本次对比测试 Snappy+RCFile组合 与  LZO+TextFile组合 的压缩比和查询性能，其结果见下面两个截图。至于hive、mr、压缩、存储格式等，这里不赘述，就在iteye搜索一下，都会出来一大堆。  ...

java.lang.UnsatisfiedLinkError: no gplcompression in java.library.path at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1738) at java.lang.Runtime.loadLibrary0(Runtime.java:823) at java.lang....

在经历过忍饥挨饿、老眼昏花的深夜加班，最后扛不住没搞定，今天周六，再次来从新梳理思路和审核每一步操作，最终苍天终不负，让我搞定了LZO的安装，使集群间lzo文件的对拷和读写成为现实。期间，重启集群不下30遍，甚至一度丢掉了所有文件（测试环境），重新格式化。真心不容易，同时我很喜悦！因此，只要坚持和努力，结果不会令人太失望！ 言归正传，把我安装的过程记录一下，以备下次再安装时，我就驾轻就熟了。 ...