Hive 踩坑

已于 2022-09-06 11:44:02 修改
阅读量295 收藏
点赞数
分类专栏： hadoop 文章标签： sql 数据库
于 2021-06-29 23:48:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qqMiSa/article/details/118346445
版权

因为工作原因用到hive，平时都当sql用，也没去系统的总结，记录一些坑

1. 字符匹配问题， 当字段是字符串型时，where语句=0(int)型来匹配会拉不到数据

2. 转义\，需要\\\，三个\

catEyesL
关注
专栏目录
flink连接hive踩坑
张小小凡
07-05 842
先看这个文章 https://ververica.cn/developers/hive-flink/ 我先是按照这个文章连接hive，启动sql-client时各种报错 解决 sql-clienr启动时报错。报错信息拉倒最下面class not found xxx，在hive_home/lib下找相对应的jar包，xxxjar包，复制到flink_home/lib下就可以解决。一个一个拷贝，拷贝一次启动一次，出现相同的错误继续拷贝。最后启动成功。 吐槽 我之前只是用的streaming api，感觉Fli
那些年使用Hive踩过的坑
大数据Hive教程
01-03 862
1.概述 这个标题也是用血的教训换来的，希望对刚进入hive圈的童鞋和正在hive圈爬坑的童鞋有所帮助。打算分以下几个部分去描述： Hive的结构 Hive的基本操作 Hive Select Hive Join Hive UDF Hive的M/R 使用Hive注意点 优化及优化详情 优化总结 调优的经常手段 解决Hive问题的途径 这篇文章只是起个头，为描述其他部分做下准备...
hive系列-1.hive里踩的坑
拾春华 让思绪飞扬
05-10 415
新增字段&跑历史分区 1、现象 hive（笔者使用的hive版本为1.1.0）表新增加列，重跑历史分区数据，发现新增的列在老分区中取值都为NULL。如下示例 1）初始化表 //init table drop table if exists tmp.test; create table tmp.test ( id string ) partitioned by (dt stri...
hive踩坑
weixin_44160416的博客
08-02 635
HIVE 踩坑 本来hive运行正常，但是由于运行试验spark sql期间把mysql中的所有root相关用户都删除了，只剩一个，且把hive-site.xml配置文件中的连接MySQL用户名和密码都改成了root，所以这次在使用hive时，运行show databases等命令报错 MetaException(message:Hive Schema version 2.3.0 does not match metastore's schema version 1.2.0 Metastore is no。
hive踩过的小坑
weixin_30916125的博客
09-16 174
上周使用hive做一些操作，几个小问题纠结很久。特此记录下； hive概念   hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduc...
Hive踩坑指南
Jiaoxin02的博客
10-27 317
1.File user/hive/tmp does not exsit File user/hive/tmp does not exsit 解决办法： <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.1.0</version> </dependency> =====改
hive踩坑（1）
weixin_43436824的博客
06-03 394
No partition predicate found for Alias 用户不允许扫描所有的分区，所以不能当sql同等对待
HIVE踩坑——NULL和空字符‘‘串处理
ergeg1的博客
08-31 1581
这里我们针对在HIVE中遇到的NULL和空字符串问题进行简单探讨，避免踩坑！！！ 简单探索 首先新建一张测试表test_01，用作后续测试 CREATE TABLE IF NOT EXISTS test_01( id INT, name STRING,age INT, score FLOAT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’ STORED AS TEXTFILE； 新增简单的几条测试数据，具体如下 insert overwrite table
大数据问题排查系列 - HIVE踩坑记-HIVE-15642
热门推荐
明哥的IT随笔
08-24 2万+
前言大家好，我是明哥！本片博文是“大数据线上问题排查系列”大类别之一，讲述前段时间我司某产品在某券商遇到的一个问题及解决方案，其背后涉及到 hive 的一个 BUG,在 hive 3.0 ...
HiveServer2频繁宕机 - Hive踩坑记录
大数据研究小白
08-04 1573
在跑定时任务一段时间后，会出现管道断开的错误日志，并且Hs2的10000端口宕机。
记一次Hive踩坑
syyyyyyyyyyyyyyh的博客
06-03 201
异常一 com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/ com.google.common.base.Preconditions.checkArgument对应的是guava-jre-jar 也就是提示我们 HIVE_HOME/lib 下的guava-xx.xx.xx-jre-jar与Hadoop不匹配 所以去HADOOP_HOME/share/hadoop/common/lib 目录下拷贝一份过来
hive开发中常遇到的坑
08-13
hive 下dual表，Lock，explain， 数据类型，开发常见的问题
hive 踩过的坑
qq_32674727的博客
09-14 262
select SrcIP,DstIP,RecTime from (select get_json_object(json,'RecTime') RecTime ,get_json_object(json,'SrcIP') SrcIP,get_json_object(json,'DstIP') DstIP from tmp_json_test t) t2 distribute by SrcIP,D...
Hive遇到的坑点
csdn_learner7的博客
03-07 2237
1.登录hive客户端，查询表信息出现以下错误 hive (hive_db)&gt; select * from star; FAILED: SemanticException Unable to determine if hdfs://bigdata11:50090/user/hive/warehouse/hive_db.db/star is encrypted: java.lang.Il...
hive踩坑记录一
qq_15098623的博客
03-18 176
这里写自定义目录标题hive报错：Cannot create directory /tmp/hive/。。。Name node is in safe mode.Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot creat...
Hive安装中遇到过的坑
weixin_34355715的博客
03-20 138
实现说明每一个用户的环境都有细微的不一致，所以这里只是个人经过这些坑的处理，但是不意味着所有处理都是这样的操作，仅作为参考。 第一个坑 数据库安装，数据库最好装在Linux上，一直出了很多错，这里有一个博客可以很好安装，地址：https://www.cnblogs.com/julyme/p/5969626.html 博客描述的是使用yum源的方式下载MySQL安装，不需要特别多的配置，一路next...
hive所遇到的坑（持续更新）
大数据的菜????
01-10 1183
1.启动元数据报错无法进入hive 解决方法 修改hive-site.xml <!-- jdbc 连接的 URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true&amp;characterEncod...
那些年接HIVE踩过的坑
qq_40251606的博客
04-12 209
聊一下最近接HIVE踩过的坑 1.关于配置的坑 首先贴一下原配置: 如果这个值,填的一个小一点的数字,如果去连接数据库查询,会报method not support,但是我仔细排除了sql,并没有使用hive不包含的函数,最后发现是这个参数的问题 更改后: 改成-1以后表示不限制大小,这样的话,就不会报错了. 2.导入driver的坑 如果采用hive本身的org.apache.hive.jdbc.HiveDriver,由于使用了MapReduce 会导致一两秒的查询变成20秒,使用impala的话就
Hive编程指南
7. **Hive的编程接口**：讲解Hive的Java API（HiveDriver、HiveSession等）和Hive命令行接口，以及如何通过这些接口进行程序化访问和操作Hive。 8. **MapReduce与Hive的交互**：深入理解Hive如何利用MapReduce执行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值