hadoop安装Snappy HBase本地安装Snappy

本文详细介绍了在Centos7系统中,如何为Hadoop 2.7.7和HBase 1.4.10安装Snappy压缩。包括安装必要的软件包,如maven和findbugs,下载并编译Hadoop源码以添加Snappy支持,以及在Hadoop和HBase中配置Snappy。通过安装Snappy,可以显著减少数据存储占用并提升查询效率。
摘要由CSDN通过智能技术生成

1、环境

  • Centos7
  • hadoop-2.7.7
  • zookeeper-3.4.14
  • hbase-1.4.10
  • JDK1.8

2、hadoop安装snappy(集群,在主库安装)

    2.1、安装snappy需要Centos7安装一下插件

        必要插件执行以下命令(直接拷贝):

        yum install autoconf automake libtool cmake make zlib zlib-devel pkgconfig openssl openssl-devel openssl-libs   snappy snappy-devel bzip2 bzip2-devel jansson jansson-devel fuse fuse-devel gcc gcc-c++ libgcc protobuf protobuf-compiler

        官方文档中还有一个build-essential也需要安装,没有找到此插件安装方式也没有安装。但是在安装snappy插件时没有报这个插件错误,正常安装完成,所以暂时没有找到此插件什么用途....

    2.2、安装maven 3.6.2

        2.2.1、maven 3.6.2安装包

         下载地址:https://pan.baidu.com/s/1OHXqJI7L7HMCVXReE-OG_g&shfl=sharepset 提取码:vzqu 

                     或者直接网上下载

        2.2.2、将maven包上传至服务器

         

        2.2.3、进入maven包所在目录,执行解压命令如下:

                 tar -xvf apache-maven-3.6.2-bin.tar.gz 

         执行完成:

         

        2.2.4、配置环境变量使mvn命令生效

         vim /etc/profile   在profile文件中添加

         

         export M2_HOME=/home/hadoop/apache-maven-3.3.9 //maven安装路径
         export PATH=$M2_HOME/bin:$PATH

         执行source /etc/profile 使环境变量生效

        2.2.5、测试maven是否安装成功

         执行命令mvn -version 输出 apache maven 版本号,  证明安装成功

         

    2.3、安装Findbugs-3.0.1

        2.3.1、Findbugs-3.0.1安装包

         下载地址:https://pan.baidu.com/s/1oTFufzPKASZmZVwA_ik96g&shfl=sharepset 提取码:s7ej 

                     或者直接网上下载

        2.3.2、将findbugs包上传至服务器

         

        2.3.3、进入findbugs包所在目录,执行解压命令如下:

                 tar -xvf findbugs-3.0.1.tar.gz 

         执行完成:

         

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值