CDH配置lzo压缩实践

最新推荐文章于 2022-05-16 13:59:51 发布
最新推荐文章于 2022-05-16 13:59:51 发布
阅读量505 收藏
点赞数 1
文章标签： cloudera lzo hdfs 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jm88621/article/details/111310013
版权
本文介绍了如何在CDH集群上配置LZO压缩，包括下载匹配系统的CDH安装包，上传文件到parcel-repo路径，通过Cloudera Manager进行配置，更新YARN和HDFS的相关配置，并重启集群以实现LZO压缩支持。
摘要由CSDN通过智能技术生成

下载安装文件

1 下载文件

点击 cdh安装包地址
下载与你的系统以及cdh版本相匹配的包，例如我的cdh版本是5.14.2，系统是ubuntu，我下载三个文件如图所示：
在这里插入图片描述

2 上传文件

将文件上传到parcel-repo路径下，如图
在这里插入图片描述

3 配置cloudera manager

检查新Parcel->分配->激活
在这里插入图片描述

查看lzo的jar包位置

/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/

在这里插入图片描述

最低0.47元/天 解锁文章
CDH6安装Lzo
L, there!
07-02 2273
Lzo是目前Hadoop平台使用很广泛的压缩格式，但需要另外安装，在这里记录一下。 使用的版本是Centos7.3，CDH6.0.1。 官方安装文档 官方配置文档 查看Hadoop支持的压缩格式 hadoop checknative LzoCodec和LzopCodec区别 两种压缩编码LzoCodec和LzopCodec区别： 1. LzoCodec比...
从入门到精通 - Fayson带你玩转CDH
Hadoop_SC的博客
09-22 4031
Fayson保持每天推一篇文章，本文随之每天更新。 以下所有文章均为超链接，可以直接点击文章名跳转。 还没附上超链接的文章是还没上传的，会再后续更新后陆续补上 1.规划设计 1.1.on-premise部署规划 0001-《CDH网络要求(Lenovo参考架构)》 0062-《如何为Hadoop集群选择正确的硬件》 0158-《如何给Hadoop集群划分角色》 1.2.on private c...
在CDH中配置lzo压缩
djx1085213329的博客
02-13 1211
一、各种压缩格式性能对比 压缩能够减少存储磁盘空间，降低网络IO和磁盘IO，加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度。 虽然由以上的好处，但是由于使用数据时，需要先将数据解压，加重了CPU负荷。根据我们的实际工作场景，我们要选择合适的压缩格式。 常见的压缩格式如下： 下面是一份源数据1.4G的文件，各类压缩格式的比率和时间对比 数据压缩后大小： 压缩和解压时间： 从上面对比可以看...
[全网最简单]CDH下配置LZO
Jecky的博客
11-05 489
场景还原： 因项目需要到数据清洗，在做知识储备（实则心里慌的一批，小白一枚，结果负责整个项目），涉及到LZO压缩，看到百度上的CDH安装实在太复杂，结果查看官方文档几句话就解决了~(lll￢ω￢) 操作步骤： CDH官方文档----LZO：文档 操作之前要知道在CDH下的LZO 是什么样的，官方是这样说的：GPL Extras contains functionality for compressing data using the LZO compression algorithm.（GPL Ext.
CDH6安装、配置和使用LZO压缩
ArYe
05-16 810
LZO压缩 yum install lzop CDH6.3.2
cdh5安装 lzo
supersyd的专栏
09-09 1203
下载 http://archive.cloudera.com/gplextras5/parcels/5.7.2/ GPLEXTRAS-5.7.2-1.cdh5.7.2.p0.18-el6.parcel  GPLEXTRAS-5.7.2-1.cdh5.7.2.p0.18-el6.parcel.sha1 在cm中安装完毕后修改HDFS配置 在io.compression.codecs属性值中
【Hadoop查询性能优化】：LZO压缩技术的影响分析
![【Hadoop查询性能优化】：LZO压缩技术的影响分析](https://d3i71xaburhd42.cloudfront.net/ad97538dca2cfa64c4aa7c87e861bf39ab6edbfc/4-Figure1-1.png) ...本文将探索LZO压缩在Hadoop环境中的应用，旨在通过压缩优化
hadoop集群内lzo的安装与配置
07-01
本文从环境准备、软件包安装、LZO库安装、配置LZO、安装和配置LZO编码/解码器，到最终的总结，详细介绍了整个安装和配置过程。希望本文能为正在使用Hadoop的朋友提供有价值的参考，帮助他们在处理大数据时能够更有效...
CDH集群部署手册(For CDH5)
08-28
确保选用与CDH兼容的MySQL版本，并遵循安全最佳实践进行配置。 **3. 离线安装Cloudera Manager 5和CDH5** 离线安装适合那些网络环境受限的环境。首先，需要创建本地的yum软件源，将所有必要的包下载到本地服务器上...
CDH性能调优与优化指南：提升大数据处理效率
CDH性能调优的必要性 ## 1.1 为什么需要对CDH性能进行调优？ 在大数据应用场景中，CDH集群作为重要的数据处理基础设施，其性能直接关系到整个数据处理效率和用户体验。随着数据规模和业务需求的不断增长，CDH集群...
CDH5.16.1配置Lzo压缩
qq_42913729的博客
01-03 450
Lzo是目前Hadoop平台使用很广泛的压缩格式，但需要另外安装，在这里记录一下。 使用的版本是Centos7.3，CDH5.16.1。 官方安装文档 官方配置文档 查看Hadoop支持的压缩格式 hadoop checknative LzoCodec和LzopCodec区别 两种压缩编码LzoCodec和LzopCodec区别： 1. LzoCodec比LzopCodec...
CDH5集群配置lzo
舒克_开飞机的blog
03-24 240
一、安装lzo 1、下载与集群版本相对应的parcel包 parcels下载 我CDH版本是5.11.0，所以下载如下三个文件 [root@hadoop002 lzo]# ll total 2440 -rw-r--r-- 1 root root 2476671 Jan 12 10:24 GPLEXTRAS-5.11.0-1.cdh5.11.0.p0.30-el6.parcel -rw-r--r-- 1 root root 41 Jan 12 10:23 GPLEXTRAS-5.11.0-1.cdh
CDH5: 使用parcels配置lzo
weixin_33734785的博客
07-01 158
2019独角兽企业重金招聘Python工程师标准>>> ...
4.如何在CDH中使用LZO压缩
大勇若怯任卷舒
05-21 254
4.1 问题概述 CDH中默认不支持Lzo压缩编码，需要下载额外的Parcel包，才能让Hadoop相关组件如HDFS，Hive，Spark支持Lzo编码。 首先在没做额外配置的情况下，生成Lzo文件并读取。 在Hive中创建两张表，test_table和test_table2，test_table是文本文件的表，test_table2是Lzo压缩编码的表。 如下： create external table test_table ( s1 string, s2 string ) row
如何在CDH中使用LZO压缩
weixin_42438176的博客
02-05 941
1.问题描述 CDH中默认不支持Lzo压缩编码，需要下载额外的Parcel包，才能让Hadoop相关组件如HDFS，Hive，Spark支持Lzo编码。 具体请参考： https://www.cloudera.com/documentation/enterprise/latest/topics/cm_mc_gpl_extras.html https://www.cloudera.com/docum...
ClouderaManager之CDH-LZO配置
weixin_34067102的博客
07-22 352
CDH-LZO配置 下载和CDH版本对应的hadoop-lzo版本 如下：   下载地址：http://archive.cloudera.com/gplextras5/parcels/ 需要下载如下三个文件： GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27-el6.parcel GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27-el6.parcel....
cdh中配置hadoop支持LZO
张不帅
07-21 1035
文章目录关闭HDFS中的权限检查：dfs.permissions。配置Hadoop支持LZO压缩 关闭HDFS中的权限检查：dfs.permissions。 配置Hadoop支持LZO压缩 点击主机，在下拉菜单中点击Parcel,默认是没有的,再点击右上角的配置找到远程Parcel存储库URL，点击最后一栏的加号，增加一栏，输入http://archive.cloudera.com/gplext...
CDH常用优化配置_HDFS配置
清平乐的技术专栏
04-13 1852
1.dfs.block.size HDFS中的数据block大小，默认是64M，对于较大集群，可以设置为128或264M 2.dfs.datanode.socket.write.timeout 增加dfs.datanode.socket.write.timeout和dfs.socket.timeout两个属性的时间，避免出现IO超时 3.dfs.datanode.max.transfer.thre...
基于CDH5集群配置snappy压缩
Ganymede的Hadoop世界
11-04 2543
基于CDH5集群配置snappy压缩
Hadoop集群中LZO压缩的详细安装与配置指南
“本文档主要介绍了如何在运行Hadoop的CentOS5.5集群上安装和配置LZO压缩库，适用于Hadoop-0.20.2-CDH3B4版本。” 在Hadoop集群中使用LZO压缩可以提高数据处理效率，因为它提供了快速的数据压缩和解压缩能力。LZO是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

默哈哈ing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值