hive自定义配置文件不生效

最新推荐文章于 2022-11-07 15:54:15 发布
最新推荐文章于 2022-11-07 15:54:15 发布
阅读量2k 收藏 1
点赞数
分类专栏： 大数据 文章标签： hive 配置文件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_36710456/article/details/84622305
版权

说明：只有在/opt/hive-0.13.1-cdh5.3.6/conf 目录下执行/opt/hive-0.13.1-cdh5.3.6/bin/hive命令时才可以连接mysql数据库。

在/opt/hive-0.13.1-cdh5.3.6 目录下执行bin/hive命令连接的是默认的derby数据库。

总结：即只有在hive的conf目录下执行命令，自定义的配置文件才生效。

 

具体原因：hive-env.sh文件配置错误

错误配置：export HIVE_CONF_DIR=/opt/hive-0.13.1-cdh5.3.6

正确配置：export HIVE_CONF_DIR=/opt/hive-0.13.1-cdh5.3.6/conf

 

sinat_36710456
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
hive-文件格式和压缩方法
qq_34874791的博客
03-21 1093
压缩的优势：可以最小化所需要的磁盘存储空间，以及减小磁盘和网络I/O操作。            缺点：压缩过程和解压过程会增加CPU开销。 二、压缩/解码器 1、压缩方案 （1）GZIP和BZip2（内置） （2）Snappy （3）LZO 2、压缩方法比较： （1）BZip2压缩率最高，但是同时需要消耗最多的CPU开销。 （2）GZip是压缩率和压缩/解压缩速度上的下一个选择
cdh beeline配置hive-site.xml不生效解决记录
shengpli′s blog
05-08 1218
最近用beeline替代hive cli，发现之前在hive-site.xml 的 Hive 客户端高级配置代码段（安全阀）的配置项，beeline居然不生效，如下图所示，而hive cli是生效的 查看了执行机器上/etc/hive/conf/hive-site.xml文件，发现配置确实是修改了，一直以为是环境变量的原因，找了几个小时，网上也没相关解释，最后在hive-site.xml 的 H...
hive-site.xml修改之后不生效与一些beeline，hiveserver2的报错
lsr40的博客
09-19 1万+
hive启动时却不加载自己修改的hive-site.xml等配置文件的问题。它总是加载默认的配置文件，很烦。。。。 最开始要搭建hive必须先修改hive默认的参数，就是添加hive-site.xml 并且在里面声明数据库的选择，其实就jdbc的四要素： javax.jdo.option.ConnectionURL jdbc:mysql://hadoop.beifeng.com:3
hive 3.1.2 在 hive-env.sh 配置 beeline 的选项不生效的解决方法
houzhizhen的专栏
09-14 666
hive-env.sh 可以配置相关的 HADOOP 选项，里面有注掉的 cli 的示例如下。 # if [ "$SERVICE" = "cli" ]; then # if [ -z "$DEBUG" ]; then # export HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xms10m -XX:MaxHeapFreeRatio=40 -XX:MinHeapFreeRatio=15 -XX:+UseParNewGC -XX:-UseGCOverhea
hive使用压缩时出现的问题
分布式应用与服务器架构专栏
01-01 891
最近在使用BZ压缩时，发现job运行的Map数太多（有些已经达到了上万个map数，这是不正常的。），生成的压缩文件很多，而且每个压缩文件就0.34KB到1MB多不等。 正在查明产生原因。
Hive自定义函数
01-20
Hive自定义函数 一. UDF(user defined function) 背景 系统内置函数无法解决所有的实际业务问题，需要开发者自己编写函数实现自身的业务实现诉求。 应用场景非常多，面临的业务不同导致个性化实现很多，故udf...
Spark不能使用hive自定义函数.doc
03-06
Spark不能使用hive自定义函数
hive 配置文件
03-03
hive 配置文件，包括hive-site.xml与hive-env.sh两个配置文件，可根据自己需要修改
hive配置文件信息修改
07-13
使用hive，hadoop，spark，datax，python，scala修改添加的配置
HIVE自定义UDF函数
最新发布
05-11
而自定义用户定义函数（UDF）是 Hive 中的一个重要功能，允许用户根据自己的需求编写自定义函数，以便在 Hive 查询中使用。 如何在 Hive 中创建自定义 UDF 函数： 步骤一：编写 Java 程序 首先，您需要编写一个 ...
hive集群加了个参数后，union all的任务都执行不了影响业务
jzy3711的博客
09-30 743
今年1月内蒙的数据中台和大数据平台上线，运行至今很稳定，昨天半夜3点半被叫起来，说大部分任务卡住了，运行不了，追查问题，发现union all的任务都执行不了，问了现场早上改了什么吗？发现局方要求改了一个参数导致的，任务执行不了挺严重的，早上任务出不来，主任要背责任的。Hive中没有超级管理员，任何用户都可以进行Grant/Revoke操作，为了完善“超级管理员”，必须添加hive.semantic.analyzer.hook配置，并实现自己的权限控制类。3.暂时将参数改回去，回滚配置，重启服务。
hive压缩的配置
lijian972的博客
03-28 2017
hive压缩的配置
hive配置教程详解
qq_45973003的博客
07-07 1775
使用到的工具 xshell centos7 xtpf apache-hive-2.3.6-bin mysql的驱动 第一步：将下载好的hive安装包上传到/usr/local目录下解压 解压命令 tar -zxvf apache-hive-2.3.6-bin.tar.gz 将解压的文件改名 mv apache-hive-2.3.6-bin /usr/local/hive 第二步：配置hive的环境变量 命令 vim /etc/profile 命令 export HIVE_HOME=/usr/lo
hive 遇到的两个问题
a2639491403的博客
04-14 1596
其一，启动hive时报错如下：Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path原因：hive下的conf文件夹下的 hive-env.sh中HADOOP路径出现问题。解决方法：进入 hive下的conf文件夹,复制hive-env.sh....
【博学谷学习记录】超强总结，用心分享 | Hive的压缩、存储方式及优化
Onzswhite的博客
11-02 853
Hive的压缩、存储方式及优化
spark sql保存hive表时的压缩设置
浪子天涯行世录
11-07 1644
文件输出格式表属性textcsvjsonparquetorc文件输出格式配置项orc可用值："none", "uncompressed", "snappy", "zlib", "lzo"parquet可用值："none", "uncompressed", "snappy", "gzip", "lzo", "lz4", "brotli", "zstd"orc,parquet以外可用值："true","false"
关于Hive中的存储格式及压缩格式详解
wenqi
06-07 5906
最近面试，遇到了关于Hive的数据存储格式的问题，回答不尽人意，抽时间总结多看看关于Hive存储格式和压缩格式的内容。TEXTFILE 是 Hive 默认文件存储方式，存储方式为行存储，数据不做压缩，磁盘开销大，数据解析开销大，数据不支持分片，数据加载导入方式可以通过LOAD和INSERT两种方式加载数据。可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压) ，但使用gzip方式，hive不会对数据进行切分，从而无法对数据进行并行操作，但压缩后的文件不支持split。在反序列化过程中，必须逐个
修改配置文件conf/hive-site.xml
热门推荐
似水流年
04-25 1万+
property> name>hive.metastore.localname> value>falsevalue> description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVMdescription> proper
怎么让配置文件的修改动态生效
weixin_34132768的博客
07-31 486
2019独角兽企业重金招聘Python工程师标准>>> ...
hive 自定义UDAF
08-12
在 Hive 中，您可以通过编写自定义聚合函数（UDAF）来扩展其功能。自定义聚合函数允许您根据特定的业务需求定义自己的聚合逻辑，并将其用于 Hive 查询。 下面是一个简单的示例，展示了如何在 Hive 中创建一个自定义聚合函数来计算一组数字的平均值： 1. 创建一个 Java 类，实现 Hive 的 UDAF 接口。例如，创建一个名为 `AverageUDAF` 的类： ```java import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDAF; import org.apache.hadoop.hive.ql.exec.UDAFEvaluator; @Description(name = "average", value = "Calculates the average of a set of numbers") public class AverageUDAF extends UDAF { public static class AverageUDAFEvaluator implements UDAFEvaluator { private int count; private double sum; public void init() { count = 0; sum = 0; } public boolean iterate(double value) { if (value != 0) { count++; sum += value; } return true; } public double terminatePartial() { return sum; } public boolean merge(double otherSum) { if (otherSum != 0) { count++; sum += otherSum; } return true; } public double terminate() { if (count == 0) { return 0; } return sum / count; } } } ``` 2. 使用 Maven 或其他构建工具将该类编译为一个 JAR 文件。 3. 将编译后的 JAR 文件添加到 Hive 的类路径中。 4. 在 Hive 中注册自定义聚合函数。假设您已将 JAR 文件命名为 `my-udafs.jar`，并将其放置在 HDFS 的 `/user/hive/lib` 目录下： ```sql ADD JAR hdfs:///user/hive/lib/my-udafs.jar; CREATE TEMPORARY FUNCTION average AS 'com.example.udaf.AverageUDAF'; ``` 5. 现在，您可以在 Hive 查询中使用自定义聚合函数 `average` 来计算一组数字的平均值： ```sql SELECT average(column_name) AS avg_value FROM your_table; ``` 这将返回一组数字的平均值。 这只是一个简单的示例，您可以根据自己的需求编写更复杂的自定义聚合函数。请确保编写的自定义函数与 Hive 的 UDAF 接口兼容，并遵循正确的编译和部署步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sinat_36710456

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值