快速为CDH版本HADOOP安装配置Lzo和Snappy压缩

最新推荐文章于 2024-02-01 16:14:09 发布
最新推荐文章于 2024-02-01 16:14:09 发布
阅读量1.9k 收藏
点赞数
分类专栏： 大数据学习 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haoxuan168/article/details/104150067
版权
本文介绍了如何在CDH版本的Hadoop中安装和配置Lzo与Snappy压缩。首先，通过hadoop checknative命令检查系统支持的压缩方式。然后，提供了针对CentOS 7和CDH 5.8.3的RPM包下载链接，分别安装Snappy和Lzo。安装完成后，将库文件和jar包复制到Hadoop目录，并在集群中分发，最后重启集群。
摘要由CSDN通过智能技术生成

注：本文针对的是使用命令行安装和配置CDH Hadoop，如果你使用RPM或者ClouderaManager，基本可以忽略此文。

Hadoop在计算和存储过程中，支持对文件进行压缩，可以使用hadoop checknative命令来查看：

hadoop

其中，像zlib、lz4、bzip2，会使用系统库，那么需要在Hadoop所在机器上先安装这些。

Snappy和Lzo，需要单独安装配置，CDH版本的hadoop，已经为每一个版本及操作系统编译好了Snappy和Lzo库（RPM），可以通过RPM来获得。

 

http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.8.3/RPMS/x86_64/

Snappy库可以从上面链接中的Hadoop RPM包中获取，注意：需要找到正确的操作系统及cdh版本，我使用的操作系统为centos 7，cdh5.8.3.

hadoop

http://archive.cloudera.com/gplextras5/redhat/7/x86_64/gplextras/5.8.3/RPMS/x86_64/

最低0.47元/天 解锁文章
HAOXUAN168
关注
专栏目录
CDH版本hadoop的源码编译
面向星辰大海
10-10 3518
在安装CDH版本的hadoop的时候, 我们下载下来的CDH的hadoop安装包中, 并没有native包, 所以我们在使用本地库 (本地库可以用来做压缩, 以及支持C程序等等) 的时候就会出问题, 好了废话不多说, 接下来看如何编译. 首先我们打开src目录下的BUILDING.txt文件 能够看到, 在官方说明中已经写明了编译所需要的准备工作 准备工作: linux系统 (准备一台干净的...
基于CDH5集群配置snappy压缩
Ganymede的Hadoop世界
11-04 2501
基于CDH5集群配置snappy压缩
hadoop-cdh4.3-lzo安装及问题解决
08-21
hadoop-cdh4.3-lzo安装及问题解决，绝对能解决，我已经亲自尝试过
ClouderaManager之CDH-LZO配置
weixin_34067102的博客
07-22 347
CDH-LZO配置 下载和CDH版本对应的hadoop-lzo版本 如下：   下载地址：http://archive.cloudera.com/gplextras5/parcels/ 需要下载如下三个文件： GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27-el6.parcel GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27-el6.parcel....
编译hadoop-2.6.0-cdh5.7.0 使之支持snappy压缩
qq_37283909的博客
04-07 269
环境准备 准备一台centos 64虚拟机 关闭防火墙命令： service iptables stop chkconfig iptables off 关闭selinux vim /etc/selinux/config 创建目录： mkdir sourcecode software 上传软件包、源码包并解压 安装jdk1.7 ！！！！此处必须使用jdk1.7。使用1.8编译...
Hadoop 支持LZO和Snappy
蝈蝈
11-04 411
步骤如下： 1 安装maven依赖 wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz tar -zxvf apache-maven-3.1.1-bin.tar.gz vim apache-maven-3.1.1/conf/settings.xml 添加加阿里云仓库 <!-- 阿里云仓库 --> <mirror>
记 doris 加载压缩文件（lzo、snappy）pr
最新发布
howard_shooter的博客
02-01 1043
这里要分清两个概念：lzo是压缩算法，它只管把一块大的数据压缩成一块小的数据，但是要把一个文件分成几个数据块来压缩，压缩以后怎么保存到磁盘，以便于解压缩，这些lzo是不管的，也不会做规定，于是就有了lzop，它是一个把普通文件做lzo压缩和解压的工具（可执行程序），它定义了保存lzo压缩文件的格式，可以理解lzop是保存用lzo压缩算法压缩以后的数据的一个容器（包装盒），而这个lzop也是有格式的。解压时，接受一个已压缩的数据块，解压以后的数据块，放在另一个内存地址，解压后的大小，作为参数返回。
java安装好LZS库和Hadoop的LZO压缩算法库
06-09
3. 安装Hadoop的LZO压缩算法库。 将下载的`libhadoop-gpl-compression-0.1.0-native-1.0.4.1.jar`文件复制到Hadoop的`lib`目录下： ```bash cp libhadoop-gpl-compression-0.1.0-native-1.0.4.1.jar $HADOOP_...
hadoop之文件压缩格式对比分析以及配置实现
君永夜
04-16 1479
文章目录1.大数据常见的压缩格式2.压缩使用场景2.1如何判定是否使用压缩？2.2压缩在ETL作业生命周期在使用场景3.MR文件压缩配置实现3.1 确保hadoop支持压缩3.2修改hadoop配置文件4.hive文件压缩配置实现4.1 原测试数据大小4.2文件不压缩4.2文件采用bzip2压缩4.3文件采用压缩gzip压缩 1.大数据常见的压缩格式 压缩分为有损和无损两大类，生产中的压缩技术一定...
Hadoop支持lzo压缩（版本cdh5.15.1）
阿顾的博客
10-12 692
参考文章： https://www.iteblog.com/archives/992.html https://blog.csdn.net/muyingmiao/article/details/102259663 https://programmer.group/using-lzo-compression-and-supporting-slicing-for-hadoop.html Hadoop经...
GZIP、LZO、Zippy Snappy压缩算法应用场景小结
01-03
GZIP、LZO、Zippy/Snappy是常用的几种压缩算法，各自有其特点，因此适用的应用场景也不尽相同
hadoop-lzo-0.4.15.jar
01-10
hadoop2 lzo 文件 ，编译好的64位 hadoop-lzo-0.4.15.jar 文件 ，在mac 系统下编译的，用法：解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下，把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 hadoop 安装路径下的lib/native ，再把core-site.xml 增加 <property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.GzipCodec,org.
hadoop-2.5.0-cdh5.3.6的native包-含snappy
11-28
编译环境：centos 7 + hadoop-2.5.0-cdh5.3.6 +jdk1.7.0-79
hadoop-lzo-0.4.20-SNAPSHOT.jar 包
01-02
hadoop lzo 压缩jar包，本人已经编译好，提供大家下载。
cdh中配置hadoop支持LZO
张不帅
07-21 1028
文章目录关闭HDFS中的权限检查：dfs.permissions。配置Hadoop支持LZO压缩 关闭HDFS中的权限检查：dfs.permissions。 配置Hadoop支持LZO压缩 点击主机，在下拉菜单中点击Parcel,默认是没有的,再点击右上角的配置找到远程Parcel存储库URL，点击最后一栏的加号，增加一栏，输入http://archive.cloudera.com/gplext...
hadoop-2.6.0-cdh5.5.2源码编译：支持snappy压缩
鱼归不知处
05-23 803
1、下载tar包下载 hadoop-2.6.0-cdh5.5.2-src.tar.gz2、解压并查看# tar zxvg hadoop-2.6.0-cdh5.5.2-src.tar.gz # head -15 BUILDING.txt Build instructions for Hadoop ---------------------------------------------------...
cloudera hadoop集群内lzo的安装与配置
东杰书屋
08-12 3518
操作系统：CentOS 5.5，Hadoop版本：hadoop-0.20.2-CDH3B4   安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器，另外，还需要lzo-devel依赖   配置lzo的文件：core-site.xml、mapred-site.xml 大致步骤： 1）安装和更新gcc、ant 2）在各个节点安装lzo 3）安装lzo编码/解码器 4）修改
Gzip,BZip2,Lzo,Snappy比较
格子衫
05-06 2114
gzip，bzip2，lzo，snappy是hadoop中比较常见的文件压缩格式，可以节省很多硬盘存储，以下是Gzip , BZip2 , Lzo Snappy 四种方式的优缺点 和使用场景 1.Gzip 优点： 　　1.压缩解压速度快 , 压缩率高 , hadoop本身支持 　　2.处理压缩文件时方便 , 和处理文本一样 　　3.大部分linux 系统自带 Gzip 命令 , 使用方便 缺点： 　　不支持切片 使用场景： 　　1.文件压缩后在130M以内 (一个块大小) , 都可以使用
Hadoop集群中LZO压缩的详细安装与配置指南
“本文档主要介绍了如何在运行Hadoop的CentOS5.5集群上安装和配置LZO压缩库，适用于Hadoop-0.20.2-CDH3B4版本。” 在Hadoop集群中使用LZO压缩可以提高数据处理效率，因为它提供了快速的数据压缩和解压缩能力。LZO是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值