CDH环境下给HDFS，Sqoop，HIVE配置LZO

最新推荐文章于 2024-05-07 18:46:59 发布
最新推荐文章于 2024-05-07 18:46:59 发布
阅读量383 收藏 1
点赞数
分类专栏： CDH 文章标签： 大数据 hive hadoop sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29057619/article/details/109508842
版权

场景还原：

上一章说了怎么在CDH中安装LZO——>CDH下安装LZO，安装完成后现在继续配置HDFS和Hive下的LZO，我的CDH版本为6.2.1，如果你的不一致，请查阅官方文档。链接: 点这里。

操作步骤

1、修改HDFS配置

在HDFS配置项中搜索“压缩编码解码器”，加入com.hadoop.compression.lzo.LzopCodec

在这里插入图片描述

2、修改Hive配置

在Hive配置项中搜索“Hive 辅助 JAR 目录”，加入/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib，注意原样复制，不要去掉空格。

在这里插入图片描述

3、修改Sqoop配置

在Sqoop的配置项中搜索“sqoop-conf/sqoop-env.sh 的 Sqoop 1 Client 客户端高级配置代码段（安全阀）”，加入以下字段

HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/*
JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native

在这里插入图片描述

到此为止配置完成

Jecky不姓码
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH版 Hadoop Hive Sqoop 安装
weixin_40652340的博客
11-29 576
快速搭建CDH版Hadoop 1、先关闭已经启动的所有服务 2、规划目录结构 3、解压Hadoop到指定目录 4、修改三个*-env.sh配置文件，Java路径   echo $JAVA_HOME 获取 Java路径     三个文件为： hadoop-env.sh yarn-env.sh mapred-env.sh  5、修改core-stie.xml         fs.d
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
Hive之配置和使用LZO压缩
TomAndersen的博客
06-21 3930
前言 OS：CentOS 7 Hive：2.3.0 Hadoop：2.7.7 MySQL Server：5.7.10 Hive官方手册：LanguageManual LZO 在配置Hive使用lzo压缩功能之前，需要保证Hadoop集群中lzo依赖库的正确安装，以及hadoop-lzo依赖的正确配置，可以参考：Hadoop配置lzo压缩 温馨提示：Hive自定义组件打包时，不要同时打包依赖，避免各种版本冲突，只将额外的依赖添加到classpath中即可 配置过程 一、配置H
大数据系统开发综合实验（二）Hive_MySQL_Sqoop配置_大数据开发实践 sqoop + hive
最新发布
2401_84160087的博客
05-07 848
本文内容在Hadoop01中操作，不对Hadoop02,Hadoop03操作！！！
Hive中使用LZO
weixin_30480583的博客
09-01 102
hive 中使用lzo 1 启动hive 错误Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf at java.lang.Class.forName0(Native Method) at java.lang....
hive lzo的安装
hello world
09-19 295
第一步 1、在hadoop集群每个节点上安装lzo和lzop及其依赖(主要为解决安装lzop)： yum -y install *lzo* 2. 安装准备： [root@hadoop01 home]# yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool 3.下载 [root@hadoop01 home]# wg...
hive、sqoop安装配置
weixin_33998125的博客
10-09 389
Hive hive体系架构 提前安装好MySQL 下载hive压缩包 解压缩 tar-zxvfxx.tar.gz 配置环境变量 exportHIVE_HOME=“hive的目录” exportPATH=$HIVE_HOME/bin:$PATH hive-site.xml 进入/soft/hive/conf目录，新建hive-site.xml，添加以下...
hive2.1.1-cdh6.3.2
05-08
在某些情况下，如果开发环境已经配置了CDH6.3.2的类路径，可以使用这个版本。 使用这些JDBC驱动，开发者可以通过标准的JDBC接口连接到Hive，执行查询并获取结果。例如，你可以创建一个Java程序，使用`java.sql....
使用IDEA工具连接CDH集群里面的hive组件
10-06
通常，这些配置文件可以从CDH集群的Hive页面上下载，比如`hiveserver2-site.xml`、`core-site.xml`和`hdfs-site.xml`。下载后解压，将它们放在项目中的一个新创建的“resource”目录下。 最后，我们就可以开始编写...
sqoop-1.4.6-cdh5.14.2.tar系列安装包
08-03
- 配置环境变量：在 `~/.bashrc` 或相应配置文件中添加 Sqoop 的 bin 目录到 PATH。 - 验证安装：`sqoop version` 应该显示 Sqoop 的版本信息。 4. ** 配置 Sqoop**： - 在 `conf/sqoop-site.xml` 中配置连接...
Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）
12-18
在CDH5.5.0中，HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource Negotiator）是两个核心组件，它们在高可用性（HA）模式下的配置尤为重要。HDFS HA允许数据节点和名称节点的冗余，以确保即使单...
GPLEXTRAS-5.9.0-1.cdh5.9.0.p0.23-el7.parcel
02-24
大数据组件，官方版本：CDH5.9.0 操作系统：CentOS7/RHEL7 完整系列： GPLEXTRAS-5.9.0-1.cdh5.9.0.p0.23-el7.parcel GPLEXTRAS-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha
sqoop简单小案例：mysql导入hive表，建立lzo索引
Jecky的博客
11-25 354
Sqoop简单案例 将表导入到hive中，必须具备的条件： 需要 sql语句 需要 $CONDITIONS 需要 target-dir sudo -u hive sqoop import \ --connect jdbc:mysql://hadoop103:3306/gmall \ --username root \ --password 123456 \ --target-dir /oridata/db/activity_order/2020-11-25 \ --query 'select * fro
大数据系统开发综合实验（二）Hive_MySQL_Sqoop配置
qq_60928990的博客
03-02 1254
mysql默认只允许root帐户在本地登录，想要远程连接mysql，必须开启root用户允许远程连接，或者添加一个允许远程连接的帐户。服务启动脚本： /usr/lib/systemd/system/mysqld.service。#如果只显示jps，则表示未启动，如果显示下图，则表示hadoop已经启动，忽略下方启动步骤。socket文件： /var/run/mysqld/mysqld.pid。日志文件： /var/log//var/log/mysqld.log。#注意，这里要保证三台虚拟机均已启动！
[全网最简单]CDH下配置LZO
Jecky的博客
11-05 434
场景还原： 因项目需要到数据清洗，在做知识储备（实则心里慌的一批，小白一枚，结果负责整个项目），涉及到LZO压缩，看到百度上的CDH安装实在太复杂，结果查看官方文档几句话就解决了~(lll￢ω￢) 操作步骤： CDH官方文档----LZO：文档 操作之前要知道在CDH下的LZO 是什么样的，官方是这样说的：GPL Extras contains functionality for compressing data using the LZO compression algorithm.（GPL Ext.
Hive SQL查询结果写入指定hdfs路径
热门推荐
zxlove
06-06 1万+
将hive查询结果写入指定hdfs路径下：set mapred.reduce.tasks = 1; insert overwrite directory '/xx/xx/' ROW FORMAT DELIMITED FIELDS TERMINATED BY '~' select cols... from tableName where conditions... distribute by ran...
Sqoop import -之MySQL到HDFS(LZO)的脚本编写与简单实践
shufangreal的博客
01-23 1037
sqoop-之MySQL到HDFS(LZO)的脚本编写与简单实践 1 连接数据库 #sqoop help #sqoop list-databases --help sqoop list-databases --connect jdbc:mysql://shufang102:3306/ --username root --password 888888 2 sqoop import sqoop import指令支持将RDBMS中的数据分别以以下形式导入到HADOOP 导入到HDFS路径（比较常用的方式，让
cdh5安装 lzo
supersyd的专栏
09-09 1183
下载 http://archive.cloudera.com/gplextras5/parcels/5.7.2/ GPLEXTRAS-5.7.2-1.cdh5.7.2.p0.18-el6.parcel  GPLEXTRAS-5.7.2-1.cdh5.7.2.p0.18-el6.parcel.sha1 在cm中安装完毕后修改HDFS配置 在io.compression.codecs属性值中
hive服务器解压文件大小,cdh配置lzo压缩格式
weixin_42495556的博客
08-10 375
hadoop默认不支持lzo的压缩格式；lzo压缩工具，支持对超过block大小的数据进行切分；关于lzo压缩的弊端：1.需要手工或者shell对lzo文件创建index；2.lzo格式的文件，通过hive执行同样的查询操作时要比其它格式慢几倍之多；总结：暂时不建议使用lzo压缩环境：系统：Centos 7.5hadoop：hadoop-2.6.0-cdh5.7.0.tar.gz(通过hadoop...
spark-在windows中连接虚拟机中cdh集群的hdfs和hive
03-16
要在Windows中连接虚拟机中的CDH集群的HDFS和Hive，需要按照以下步骤操作： 1. 确保虚拟机和Windows主机在同一网络中，可以互相访问。 2. 在虚拟机中启动HDFS和Hive服务，并确保它们正常运行。 3. 在Windows主机...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值