基于CDH5集群配置snappy压缩

最新推荐文章于 2021-09-11 15:14:59 发布

kwu_ganymede

最新推荐文章于 2021-09-11 15:14:59 发布

阅读量2.4k

点赞数 1

分类专栏： Hive Spark Hadoop 文章标签：集群压缩 snappy

本文链接：https://blog.csdn.net/kwu_ganymede/article/details/49638811

版权

本文介绍了在CDH5集群上配置Snappy压缩的步骤，通过对比gzip、lzo和snappy的压缩效率，发现Snappy综合表现最优。配置包括修改core-site.xml、mapred-site.xml和spark-env.sh文件，以实现MR、Hive和Spark作业的Snappy压缩，有效降低IO消耗并提升性能。

摘要由CSDN通过智能技术生成

基于CDH5集群配置snappy压缩，配置步骤如下：

1、常用的三种压缩gzip,lzo,snappy，经分析对比

算法压缩后/压缩前压缩速度解压速度
GZIP 13.4% 21 MB/s 118 MB/s
LZO 20.5% 135 MB/s 410 MB/s
Snappy 22.2% 172 MB/s 409 MB/s

snappy综合实力最佳，lzo我们也尝试使用，但是常导致个别老机器down机。

2、配置hdfs的core-site.xml相应压缩项

  <property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

kwu_ganymede

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

CDH5集群部署指南

02-19

### CDH5集群部署知识点详解 #### 一、概述本文档主要介绍如何在Linux系统下部署一个完整的分布式CDH5（Hadoop）集群。CDH5是Cloudera Distribution Including Apache Hadoop (CDH) 的一个版本，它提供了企业级的...

大数据环境搭建篇 CDH分布式环境搭建 (支持snappy)-大萝卜博客网

大萝卜博客

10-31

128

准备:1.配置好java环境变量2.配置好主机名/etc/sysconfig/network3.配置好hosts /etc/hosts4.配置好免密登录ssh5.关闭selinux以及防火墙第一步：上传压缩包并解压将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压(我会在片尾留下链接,大家可自行下载)第一台机器执行以下命令cd /export/softwares/mv...

参与评论您还未登录，请先登录后发表或查看评论

关于hadoop-2.6.0-cdh5.7.0 、 hbase-1.2.0-cdh5.7.0开启snappy压缩，直接导入lib库，免编译版

linux运维工程师的博客

09-06

961

支持hadoop-2.6.0-cdh* 版本的snappy压缩功能的 lib 库

CDH 伪分布式环境搭建

weixin_44431083的博客

01-08

465

CDH 伪分布式环境搭建第一步：上传压缩包并解压将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压第一台机器执行以下命令 cd /export/softwares/ mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz tar -zxvf hadoop-2.6.0-cdh...

大数据实战第十五课（下）-Spark-Core03

zhikanjiani的博客

08-19

352

Hadoop上启动spark on yarn：不做任何修改直接配置启动： spark-shell --master yarn 报错信息如下提示： Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CON...

pyspark不支持lzo压缩

qq_43662627的博客

09-11

205

pyspark的需要hadoop的支持，具体原理也不是很懂，就是很离谱，由于我的pyspark是直接安转在conda的环境上的，昨晚想跑一个文件，抛出一个pyspark无法找到lzo压缩的异常，最后把lzo压缩删除，找到hadoop的core-site.xml把lzo配置注释掉重新启动集群，问题解决。解决不了问题，把提出问题的人解决掉，快乐就是这么简单。注释掉这些 <property> <name>io.compression.codecs</name&

CDH6.3.2集群部署手册

最新发布

03-26

它涵盖了各种方面，包括硬件和软件要求、环境准备、安装CDH服务和组件、配置集群、启动服务、故障排除等内容。通过按照手册提供的步骤逐步操作，用户可以顺利地搭建一个稳定、可靠的CDH集群，用于其大数据处理和分析...

CM5和CDH5 搭建Hadoop 集群

03-30

在本篇中，我们将探讨如何使用CM5和CDH5搭建Hadoop集群，包括安装过程、可能遇到的问题以及解决方案。CM5（Cloudera Manager 5）是Cloudera公司提供的一个管理工具，用于简化Hadoop集群的部署、管理和监控。而CDH5...

CDH+集群安全启动和关闭.doc

03-11

Cloudera Distribution Including Apache Hadoop (CDH) 是一个基于Apache Hadoop的企业级大数据平台，由Cloudera公司提供支持和服务。CDH集成了众多开源组件，如HDFS、YARN、MapReduce、Hive等，为用户提供了一套...

基于CDH3的BigInsights集群的搭建与应用

02-26

本文首先简要介绍BigInsights与Cloudera集成的相关背景，在此基础上介绍基于cloudera的BigInsights集群的系统架构，之后详细介绍在Cloudera之上的两种集成方式，最后介绍如何管理和应用集成系统。Cloudera和IBM都是...

hadoop-2.5.0-cdh5.3.6的native包-含snappy

11-28

编译环境：centos 7 + hadoop-2.5.0-cdh5.3.6 +jdk1.7.0-79

CDH5.10.0离线安装部署文档

10-05

CDH 5.10.0 离线安装部署文档使用了青云的3台云主机安装的服务有HDFS、YARN 与 ZooKeeper

No LZO codec found, cannot run.解决方案参考。

GOD-LEI的博客

12-29

1302

问题：使用hive on spark，创建lzo存储格式的表格，查询数据的时候，报错：No LZO codec found, cannot run。解决和排错过程： 1.百度No LZO codec found, cannot run，搜索结果分为以下三种原因： 1). hadoop-lzo.jar包的兼容性问题首先确定我的框架版本：（1）.官方下载的lzo-master是一个maven项目，解压之后，修改pom文件中 <hadoop.current.version>2.6.0</

Spark-常见问题

迷路剑客个人博客

04-22

401

Spark-常见问题 value $ is not a member of StringContext val spark = SparkSession.builder().getOrCreate() // 加上下面这句就好了 import spark.implicits._

hadoop.compression.lzo.LzoCodec not found问题发现及解决

qq_47932841的博客

09-23

5187

问题描述： spark.SparkContext: Created broadcast 0 from textFile at WordCount.scala:37 Exception in thread "main" java.lang.RuntimeException: Error in configuring object ......... //往下N多行 Caused by: java.lang.ClassNotFoundException: Class com.hadoop.compression

大数据环境搭建篇 CDH分布式环境搭建 (支持snappy)

xiaoyuya1998的博客

11-27

1343

准备: 1.配置好java环境变量 2.配置好主机名/etc/sysconfig/network 3.配置好hosts /etc/hosts 4.配置好免密登录ssh 5.关闭selinux以及防火墙第一步：上传压缩包并解压将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压(我会在片尾留下链接,大家可自行下载) 第一台机器执行以下命令 cd /export/soft...

快速为CDH版本HADOOP安装配置Lzo和Snappy压缩

mcj1314bb的博客

01-11

1348

注：本文针对的是使用命令行安装和配置CDH Hadoop，如果你使用RPM或者ClouderaManager，基本可以忽略此文。 Hadoop在计算和存储过程中，支持对文件进行压缩，可以使用hadoop checknative命令来查看：其中，像zlib、lz4、bzip2，会使用系统库，那么需要在Hadoop所在机器上先安装这些。 Snappy和Lzo，需要单独安装配

hadoop cdh版本安装snappy

weixin_34247155的博客

03-08

559

一.安装 protobufubuntu 系统首先确保具有 gcc gcc-c++ libtool cmake 具有这些环境1 在 /etc/ld.so.conf.d/目录下创建文件 libprotobuf.conf 写入内容 /usr/local/lib 否则会报 error while loading shared libraries: libprotoc.so.8: cannot o...

编译hadoop-2.6.0-cdh5.7.0 使之支持snappy压缩

qq_37283909的博客

04-07

257

环境准备准备一台centos 64虚拟机关闭防火墙命令： service iptables stop chkconfig iptables off 关闭selinux vim /etc/selinux/config 创建目录： mkdir sourcecode software 上传软件包、源码包并解压安装jdk1.7 ！！！！此处必须使用jdk1.7。使用1.8编译...