cdh中配置hadoop支持LZO

于 2019-07-21 17:00:37 发布
阅读量1k 收藏
点赞数
分类专栏： cdh
年轻人应该玩转风口浪尖的一切技术
本文链接：https://blog.csdn.net/wwwzydcom/article/details/96735721
版权

文章目录

关闭HDFS中的权限检查：dfs.permissions。

[外链图片转存失败(img-JbnogPBY-1563699384780)(1563698510310.png)]

配置Hadoop支持LZO压缩

点击主机，在下拉菜单中点击Parcel,默认是没有的,再点击右上角的配置找到远程Parcel存储库URL，点击最后一栏的加号，增加一栏，输入http://archive.cloudera.com/gplextras/parcels/latest/，之后点击保存更改

[外链图片转存失败(img-tSQElBIy-1563699384785)(1563698708595.png)]

返回Parcel列表，可以看到多出了LZO，选择下载，下载完成后选择分配，分配完成后选择激活。
[外链图片转存失败(img-ifSBOEoY-1563699384786)(1563698885545.png)]

安装完LZO后，打开HDFS配置，找到“压缩编码解码器”一栏，点击加号，添加com.hadoop.compression.lzo.LzopCodec后保存更改

在这里插入图片描述
打开YARN配置，找到MR 应用程序 Classpath，添加/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo-cdh4-0.4.15-gplextras.jar

[外链图片转存失败(img-9QgV73XS-1563699384799)(1563699001627.png)]

更新过期配置，重启进程

在这里插入图片描述
会把相关需要重启的都重启

_东极
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【Ubuntu18.04】下Hadoop下载编译lzo
李漂亮的博客
04-15 1587
耗了2天走了很多弯路，目前在等结果，心累 基本网上都用Centos版，用Ubuntu的瑟瑟发抖。网上许多资料还都是以前版本的，不停的摸索，希望是个好结果。 LZO压缩的文件是可分片的，类似gzip，比gzip时间更快，但是比它更占空间。 环境 Ubuntu18.04 Hadoop-3.3.0 【Maven3.8 下载配置只看第一部分https://blog.csdn.net/ac_dao_di/article/details/54233520】 lzo-2.10 一、下载 1.apt-get install
快速为CDH版本HADOOP安装配置Lzo和Snappy压缩
大数据基础框架学习教程汇集
02-02 1933
注：本文针对的是使用命令行安装和配置CDH Hadoop，如果你使用RPM或者ClouderaManager，基本可以忽略此文。 Hadoop在计算和存储过程中，支持对文件进行压缩，可以使用hadoop checknative命令来查看： 其中，像zlib、lz4、bzip2，会使用系统库，那么需要在Hadoop所在机器上先安装这些。 Snappy和Lzo，需要单独安装配置，CDH版本的...
hadoop-lzo-0.4.20.jar
02-14
hadoop支持LZO压缩配置 将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/ core-site.xml增加配置支持LZO压缩 io.compression.codecs org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec, com.hadoop.compression.lzo.LzoCodec, com.hadoop.compression.lzo.LzopCodec io.compression.codec.lzo.class com.hadoop.compression.lzo.LzoCodec
hadoop-lzo-0.4.15-cdh5.14.4.jar
05-28
hadoop-lzo-0.4.15-cdh5.14.4.jar
hadoop集群内lzo的安装与配置
07-01
本文将详细介绍如何在 Hadoop 集群中安装和配置 LZO。 一、环境准备 本文假设使用 CentOS 5.5 操作系统和 Hadoop-0.20.2-CDH3B4 版本。 二、安装所需软件包 安装 LZO 需要以下软件包： * gcc * ant * lzo * lzo...
hadoop集群内lzo的安装与配置.doc
10-12
本文将详细介绍如何在运行CentOS 5.5且安装了Hadoop 0.20.2-CDH3B4的环境中配置和安装LZO。 **一、环境准备** 首先，确保你的系统已经安装了以下软件包： 1. GCC：C语言编译器，用于编译源代码。 2. Ant：Apache的...
hadoop-cdh4.3-lzo安装及问题解决
08-21
综上所述，"hadoop-cdh4.3-lzo安装及问题解决"涉及到的关键知识点包括Hadoop、CDH4.3、LZO压缩算法以及在企业级Hadoop环境中安装和优化LZO的过程。通过了解这些内容，可以有效提升Hadoop集群的数据处理效率，解决...
hadoop-2.5.0-cdh5.3.6 编译native包
06-07
同时，还需要安装OpenSSL、Zlib、BZip2、LZO、Snappy等库，因为Hadoop可能依赖这些库来实现某些功能。 2. **获取源码**：从官方网站或镜像站点下载Hadoop的源码，这里对应的是hadoop-2.5.0-cdh5.3.6版本。 3. **...
CDH5 配置LZO
数据源的港湾
01-09 2231
本文通过实例讲述在CDH5下面配置LZO压缩的过程，1 下载parcel（选择合适的版本），下载地址： http://archive-primary.cloudera.com/gplextras/parcels/latest/ ；下载.parcel文件及manifest.json文件，下载完成后在manifest.json中找到对应的hash值并写到.parcel.sha文件[root@cent-1
hadoop-lzo-0.4.15.jar
01-10
hadoop2 lzo 文件 ，编译好的64位 hadoop-lzo-0.4.15.jar 文件 ，在mac 系统下编译的，用法：解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下，把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 hadoop 安装路径下的lib/native ，再把core-site.xml 增加 <property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.GzipCodec,org.
hadoop-lzo-0.4.20-SNAPSHOT.jar 包
01-02
hadoop lzo 压缩jar包，本人已经编译好，提供大家下载。
centos i686 linux 32位 hadoop-2.7.7 hadoop2.7.7-lzo-0.4.21.jar
10-04
网上看的都是64位的lzop 压缩包下载，现在提供一个32位的centos-i686编译后的下载包
hadoop-lzo-0.4.13.jar
12-20
hadoop-lzo-0.4.13.jar 依赖包 hadoop-lzo-0.4.13.jar 依赖包 hadoop-lzo-0.4.13.jar 依赖包
ClouderaManager之CDH-LZO配置
weixin_34067102的博客
07-22 326
CDH-LZO配置 下载和CDH版本对应的hadoop-lzo版本 如下：   下载地址：http://archive.cloudera.com/gplextras5/parcels/ 需要下载如下三个文件： GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27-el6.parcel GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27-el6.parcel....
cdh5安装 lzo
supersyd的专栏
09-09 1182
下载 http://archive.cloudera.com/gplextras5/parcels/5.7.2/ GPLEXTRAS-5.7.2-1.cdh5.7.2.p0.18-el6.parcel  GPLEXTRAS-5.7.2-1.cdh5.7.2.p0.18-el6.parcel.sha1 在cm中安装完毕后修改HDFS配置 在io.compression.codecs属性值中
CDH5: 使用parcels配置lzo
TURING.DT
07-14 1588
本文描述如何在CDH5中，使用parcels配置lzo, 并能正常使用hive进行数据查询 一、Parcel 部署步骤 1 下载: 首先需要下载 Parcel。下载完成后，Parcel 将驻留在 Cloudera Manager 主机的本地目录中。 2 分配: Parcel 下载后，将分配到群集中的所有主机上并解压缩。 3 激活: 分配后，激活 Parcel 为群集重启后使用做准备。激活前
hadoop支持lzo完整过程
热门推荐
meiyuli的专栏
12-21 1万+
简介 部署 安装lzop native library 安装hadoop-lzo 配置hadoop环境变量 验证lzo通过hive测试 创建lzo表 导入数据 索引LZO文件 利用hive执行mr任务 修改使用中hive表的输入输出格式简介 启用lzo 启用lzo的压缩方式对于小规模集群是很有用处，压缩比率大概能降到原始日志大小的1/3。同时解压缩的速度也比较快。安装lzo lzo并不是linu
CDH6.2支持hadoop3.1.3吗
最新发布
07-12
Cloudera Distribution for Hadoop (CDH) 6.2不直接支持Apache Hadoop 3.1.3。在CDH 6.2中，默认使用的是Apache Hadoop 3.0.x系列。但是，您可以通过进行一些额外的配置和调整来实现使用Hadoop 3.1.3。 Cloudera提供了名为"CDH and Apache Hadoop"版本兼容性矩阵的文档，其中列出了不同版本的CDH与Apache Hadoop的兼容性。根据该兼容性矩阵，在CDH 6.2中，Apache Hadoop版本应该是3.0.x。您可以在Cloudera官方网站上找到该文档以获取最新的兼容性信息。 如果您需要使用Hadoop 3.1.3，您可以考虑升级到Cloudera Distribution for Hadoop (CDH) 6.3或更高版本。在CDH 6.3及更高版本中，Cloudera开始支持Apache Hadoop 3.1.x系列。请确保在升级之前仔细阅读和遵循Cloudera的升级文档和建议。 请注意，在进行任何版本的升级之前，建议仔细阅读Cloudera的文档和指南，并在测试环境中进行适当的验证和测试，以确保兼容性和稳定性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值