【CDH】cloudera mamager中配置hive加载第三方JAR

最新推荐文章于 2022-07-13 21:40:29 发布
最新推荐文章于 2022-07-13 21:40:29 发布
阅读量2k 收藏 3
点赞数
分类专栏： cdh hive 文章标签： hadoop cloudera hive cdh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mrerlou/article/details/123635123
版权
cdh 同时被 2 个专栏收录
20 篇文章 0 订阅
订阅专栏
hive
16 篇文章 0 订阅
订阅专栏

前言

再将 hbase 导入 hive 表时，出现行数远远大于实际的数量，排查后发现是hbase 数据中有很多换行， 所以需要使用第三方的jar 的行分隔符。

这里使用了自定义的jar包。

永久添加

这时想要使用jar 包每次都需要手动添加，然后才能使用。这里我们使用永久添加的方式。

配置

在这里插入图片描述

  1. Hive 辅助 JAR 目录 设置 /opt/cloudera/parcels/CDH/lib/hive/auxlib
  2. hive-env.sh 的 Gateway 客户端环境高级配置代码段（安全阀) 设置 HIVE_AUX_JARS_PATH=/opt/cloudera/parcels/CDH/lib/hive/auxlib
  3. 将自定义的jar 包放到 /opt/cloudera/parcels/CDH/lib/hive/auxlib 中。

注：那台节点需要用，将jar包放入即可，不用每台节点都添加。

kiraraLou
关注
专栏目录
cloudera mamager中配置hive加载第三方JAR.,为什么beeline不好用？
蘑菇丁的专栏
10-23 4051
for a in {24,25,26,27,28,29,30,31,32,33};do ssh 1.3.8.$a "mkdir -p /etc/hive/auxlib" ;done /etc/hive/auxlib HIVE_AUX_JARS_PATH=/etc/hive/auxlib for i in {24,25,26,27,28,29,30,31,32,33}; do scp...
Hive 引入第三方Jar包的方式
涵sir的博客
01-14 6163
很多时候，我们需要在Hive中引入第三方jar包或者是自己编写的 UDF jar 包。在Hive中，涉及指定外部jar包的配置有两个地方： hive-site.xml中的hive.aux.jars.path 此配置项对于hive server有效，但是是不会作用到hive shell.也就是说即使你在hive节点上配置了这一项，但是对于hive shell来说是无效的。 注意： （1）目前只支持file://也就是本地文件，暂不支持HDFS，也不支持文件夹。 （2）多个文件使用逗号分隔。 （3）不能换.
hive jar包
05-07
hive metastore jar包，可以直接下载使用，hadoop，hive
springboot整合mybatis+thmeleaf
没甚麽大不了的博客
09-07 367
一、springboot支持jsp组件 1、注意：springboot默认不支持jsp作为试图组件；需要导入springboot支持jsp的依赖包 <!--支持jsp的依赖--> <!--springboot tomcat jsp 支持开启 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-sta
CDH 中配置Hive 的辅助 JAR 目录
storm_fury
06-27 4232
在 HiveServer2 所在的机器上创建 /etc/hive/auxlib 目录 [root@cdh01 hive]# hostname cdh01.cnyimi.cn [root@cdh01 hive]# pwd /etc/hive [root@cdh01 hive]# ll 总用量 0 drwxr-xr-x 2 root root 6 6月 26 21:52 auxlib lrw...
cloudera mamager中配置hive加载第三方JAR
shengpli′s blog
03-29 509
1.在运行 Hive Metastore Server、HiveServer2 或 Hive CLI 的主机上手动创建和管理/data/db/hive_udf本地目录，在目录中放置需要添加的jar 2.按下图配置，然后重启Hive ...
cloudera-hive-cdh6.3.2源码包
07-28
在 CDH（Cloudera Distribution Including Apache Hadoop）6.3.2 版本中，Hive 已经发展到了一个成熟的阶段，提供了更高效、稳定的数据处理能力。下面我们将对 `cloudera-hive-cdh6.3.2` 源码包中的关键组件和技术...
Hive-2.1.1-CDH-3.6.1 相关JDBC连接驱动 Jar 包集合
04-20
02、hive-exec-2.1.1-cdh6.3.1.jar 03、hive-jdbc-2.1.1-cdh6.3.1.jar 04、hive-jdbc-2.1.1-cdh6.3.1-standalone.jar 05、hive-metastore-2.1.1-cdh6.3.1.jar 06、hive-service-2.1.1-cdh6.3.1.jar 07、libfb303-...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
Hive持久添加jars CDH6.1
weixin_38670967的博客
02-25 458
配置Hive Auxiliary JARs Directory，路径为Hive metastore的主机文件夹路径。 Actions中选择Deploy Client Configuration restart hive
spring jar包需要下载吗?_一个 jar 包的自我修养
weixin_39682944的博客
11-26 499
遇到槽点开发实践中，对于开发一个jar 包，很多人都只是完成功能，只要功能使用没问题，就算是完事了，但其实远远不够。当用户使用 jar 包的时候，可能会遇到以下这些问题：文档缺失，一个功能怎么用，往往需要花半天到一天的时候到处找负责人，一步步沟通，很浪费时间；依赖冲突，我只是引用了一个用户认证包，结果把它支持的 SpringMVC、Jersey 和 Struts2全引进来了；获取不到...
hive多用户的安装
十指演绎悲伤的博客
07-13 565
hive多用户的安装
hive一次加载多个文件_0738-6.2.0-如何在Hive中使用多分隔符
weixin_39678304的博客
10-22 107
​文档编写目的Hive在0.14及以后版本支持字段的多分隔符，参考:https://cwiki.apache.org/confluence/display/Hive/MultiDelimitSerDe而Fayson在以前的文章中也基于C5的环境介绍过如何在Hive中使用多分隔符，参考《Hive多分隔符支持示例》。本文主要介绍在CDH6中如何让Hive支持多分隔符。测试环境1.Redhat7.22....
cm管理器安装的CDH添加HIVE UDF函数，两种方式
allen的博客
06-12 3976
1.临时的： 在如下目录下面创建auxlib/etc/hive/auxlib将jar添加到该目录下然后在cm管理器的hive配置文件里面找到： 添加属性： /etc/hive/auxlib在配置文件里面找到： 添加属性：HIVE_AUX_JARS_PATH=/etc/hive/auxlib然后在hive客户端创建临时函数2.永久的：将jar包上传到hdfshadoop dfs -mkdir
Hive如何添加第三方JAR
热门推荐
qianshanding0708的博客
12-23 3万+
以加入elsaticsearch-hadoop-2.1.2.jar为例，讲述在Hive中加入第三方jar的几种方式。 1，在hive shell中加入 [hadoop@hadoopcluster78 bin]$ ./hive Logging initialized using configuration in file:/home/hadoop/apache/hive-0.13.1/con...
Hive集成Phoenix
邢为栋
11-30 1126
Hive支持使用HDFS之外的存储系统作为底层存储系统，其中官方明确支持HBase，Kudu，Druid和JDBC(MySQL等)。 Hive提供了相应的接口 StorageHandlers，用以实现和其他存储系统的整合。 Phoenix实现了相应的接口，可以使用Phoenix作为Hive的底层存储系统，在Hive中操作Phoenix表，并和Hive本地表进行互操作。 Phoenix官网该特性的详细描述可参考 Phoenix Storage Handler for Apache Hive。 本文主要描述在C
hive脚本分析：加载第三方jar包
eyeofeagle的博客
02-23 1822
1, hive安装目录 [root@bigdata4 ~]# tail /export/hive/conf/hive-env.sh export HADOOP_HEAPSIZE=2048 export HADOOP_CLIENT_OPTS="-Xmx2g -Xms2g -Djava.net.preferIPv4Stack=true $HADOOP_CLIENT_OPTS" HADOOP_HOME=/export/hadoop HADOOP_CONF_DIR=/export/common/hadoop/con
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值