Hadoop/HBase 配置snappy压缩

Hadoop/HBase 开启snappy压缩

参考链接
hadoop-snappy Google Code
snappy.compression hbase docs
cnblogs参考资料

1. install maven

   • 下载maven安装包(apache-maven-xxx.bin.tar.gz) 点击下载
   • 解压文件
     ar -zxvf apache-maven-3.2.1-bin.tar.gz
   • 修改/etc/profile，把maven执行路径添加到环境变量
     export MVN_HOME=/home/qiao/apache-maven-3.2.1
     export PATH=$MVN_HOME/bin:$PATH
   • source /etc/profile使环境变量生效

2. install snappy

   • 下载snappy click herer to download
   • 解压缩 tar -zxvf snappy-xxx.tar.gz
   • 在解压后的snappy目录中编译安装snappy动态链接库到本地
     $ ./configure
     $ make
     $ make install
   • 默认安装到/usr/local/lib中，颗粒在这个目录中查看,如果出现如下内容，则表示snappy动态链接库安装成功
     $ cd /usr/local/lib
     $ ls
     $ libsnappy.a libsnappy.la libsnappy.so libsnappy.so.1 libsnappy.so.1.2.1

3. install hadoop-snappy

   • 下载hadoop-snappy,用到svn
     svn checkout http://hadoop-snappy.googlecode.com/svn/trunk/ hadoop-snappy
   • 安装hadoop-snappy,用maven编译安装,将其安装到/usr/local目录中
     mvn package -Dsnappy.prefix=/usr/local
   • 接下来就是复制文件，修改配置文件

   • hadoop
     1. 把hadoop-snappy/target/hadoop-snappy-0.0.1-SNAPSHOT目录中lib目录下所有文件拷贝到Hadoop的lib目录下
        cp -r hadoop-snappy-0.0.1-SNAPSHOT/lib/* /lib

     2. 修改Hadoop配置文件，core-site.xml，添加如下内容

         <property>
             <name>io.compression.codecs</name>
             <value>
                 org.apache.hadoop.io.compress.GzipCodec,
                 org.apache.hadoop.io.compress.DefaultCodec,
                 org.apache.hadoop.io.compress.BZip2Codec,
                 org.apache.hadoop.io.compress.SnappyCodec
             </value>
         </property>

     3. 修改Hadoop配置文件，hadoop-env.sh
        export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
   • hbase
     1. 将Hadoop文件夹lib/native/Linux-amd64-64/下所有的文件拷贝到相应的hbase目录下
        cp -r $HADOOP_HOME/lib/native/Linux-amd64-64/* $HBASE_HOME/lib/native/Linux-amd64-64/
     2. 修改HBase配置文件hbase-env.sh
        export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
        export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

4. 重启Hadoop，HBase，snappy压缩功能即可使用

安装过程中遇到的问题： [exec] /usr/bin/ld: cannot find -ljvm
解决办法：出现这样的问题是因为没有把安装的jvm的libjvm.so 链接到/usr/local/lib。因为是64位系统，这里做了如下修改：
ln -s /usr/java/jdk1.6.0_45/jre/lib/amd64/server/libjvm.so /usr/local/lib/
问题解决。

转载于:https://www.cnblogs.com/qyanke/p/4118472.html