Hive 踩坑

已于 2022-09-06 11:44:02 修改
阅读量242 收藏
点赞数
分类专栏： hadoop 文章标签： sql 数据库
于 2021-06-29 23:48:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qqMiSa/article/details/118346445
版权

因为工作原因用到hive，平时都当sql用，也没去系统的总结，记录一些坑

1. 字符匹配问题， 当字段是字符串型时，where语句=0(int)型来匹配会拉不到数据

2. 转义\，需要\\\，三个\

catEyesL
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Hive]那些年我们踩过的Hive坑
SmartSi
06-12 3万+
（1）问题一  首先，采用这个命令： hive -hiveconf hive.root.logger=DEBUG,console 可以查看详细信息然后分析可知，缺少mysql的jar包，下载mysql-connector-java-5.1.32.tar.gz，并进行一下操作。 下一步操作，添加jar包： （2）问题二
Hive遇到的坑点
csdn_learner7的博客
03-07 2174
1.登录hive客户端，查询表信息出现以下错误 hive (hive_db)> select * from star; FAILED: SemanticException Unable to determine if hdfs://bigdata11:50090/user/hive/warehouse/hive_db.db/star is encrypted: java.lang.Il...
Hive DML
01-07
数据导入 Hive不支持update的操作。数据一旦导入，则不可修改。要么drop掉整个表，要么建立新的表，导入新的数据。 load：加载数据到表 load data [local] inpath ‘filepath’ overwrite | into table 表名 [partition (partcol1=val1,…)]; 单纯的复制/移动：将 filepath 中指定的文件复制到目标文件所指定的目录中。如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突，那么现有的文件会被新文件所替代。其中： load data：表示加载数据 local：表示从本地加载数
那些年使用Hive踩过的坑
大数据Hive教程
01-03 818
1.概述 这个标题也是用血的教训换来的，希望对刚进入hive圈的童鞋和正在hive圈爬坑的童鞋有所帮助。打算分以下几个部分去描述： Hive的结构 Hive的基本操作 Hive Select Hive Join Hive UDF Hive的M/R 使用Hive注意点 优化及优化详情 优化总结 调优的经常手段 解决Hive问题的途径 这篇文章只是起个头，为描述其他部分做下准备...
hive使用的一些坑
cw632386583的博客
02-10 947
我们在对数据进行提取的时候，hive是经常用的工具，hql跟sql非常类似，也是面向数据分析人员的语言，但是hive在使用过程中可能会有非常多的坑，本文主要收集自己在使用的时候碰到的一些坑，供读者参考。1. 假设我们已经有了一个分区表，分区字段为p_date，按照日期进行分区，如果我们要完全覆盖已有的分区表，你可以使用overwrite，如下：overwrite table dm_strategy...
Hive性能优化
weixin_33981932的博客
03-22 585
1.概述 　　继续《那些年使用Hive踩过的坑》一文中的剩余部分，本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍 　　首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总...
HIVE SQL 代码优化总结(容易踩坑的地方)
lingan_Hong的博客
07-14 1766
hive的出现降低了Hadoop的使用门槛，但是同时由于代码的编写不规范导致出现数据倾斜、高IO、笛卡尔积、运行耗时长等问题，所以要对HQL进行优化。
hive开发中常遇到的坑
08-13
hive 下dual表，Lock，explain， 数据类型，开发常见的问题
hive踩坑
weixin_44160416的博客
08-02 494
HIVE 踩坑 本来hive运行正常，但是由于运行试验spark sql期间把mysql中的所有root相关用户都删除了，只剩一个，且把hive-site.xml配置文件中的连接MySQL用户名和密码都改成了root，所以这次在使用hive时，运行show databases等命令报错 MetaException(message:Hive Schema version 2.3.0 does not match metastore's schema version 1.2.0 Metastore is no。
hive的踩坑经验1
weixin_41708343的博客
11-01 419
hive的踩坑经验1 一、hive表中新增字段或者修改字段时，需要使用cascade方式，否则新增字段，回刷数据还是存在为null的情况。 解决方案一： 1、ALTER TABLE tablename ADD COLUMNS (is_delete int COMMENT ‘是否进行删除的标记字段’) cascade; 然后回刷数据即可。 解决方案二: 2、ALTER TABLE tablename...
seatunnel 支持hive jdbc
07-28
driver = "org.apache.hive.jdbc.HiveDriver" user = "hive" password = "hive" table = ods_wjw_jb_gxy_hz_glk query = "select a,b,c from ods_wjw_jb_gxy_hz_glk" fetch_size = 300 } }
Flink集成hive
02-28
Flink集成hive
hive常见命令
01-20
hive常用命令 1、进入hive数据库：hive 2、查看hive中的所有数据库：show databases; 3、用default数据库：use default; 4、查看所有的表：show tables; 5、查询表结构：desc mytest（表名）; 6、查询表数据： ...
Hive-简介
03-01
Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的，是建立在Hadoop上的数据仓库基础构架。作为Hadoop的一个数据仓库工具，Hive可以将结构化的数据文件映射为一张数据库表...
大数据hive的使用踩过的坑
weixin_44161141的博客
04-26 332
1、给到一个项目你需要知道的三大事情：对接人、周期、完成标准 2、date的类型使用datetime 4、在MySQL中，跟百分比有关的数据，统一用decimal类型，保留两位小数就行，hive里面数据类型有double 5、MySQL中创建表表名后面不需要加上table 6、'${dbp.system.cyctime}'获取当前日期 7、使用子查询在查询的时候，最后主查询的字段在子查询里面需要被包含 8、使用union all 时在最后不应该加最后一层的select ，因为union all本身就是将数据
Hive踩坑指南
Jiaoxin02的博客
10-27 263
1.File user/hive/tmp does not exsit File user/hive/tmp does not exsit 解决办法： <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.1.0</version> </dependency> =====改
hive中的坑(持续更新中)
没有合适的昵称
10-21 1070
Error: org.apache.spark.sql.AnalysisException: java.lang.IllegalArgumentExceptio ...
Alluxio 1.6.1 与Spark SQL结合使用踩坑总结
简单就好
03-22 1474
1、 扫表问题 表不存在hdfs，但在元数据中 java.lang.RuntimeException: serious problem at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo(OrcInputFormat.java:1021) at org.apache.ha...
安装Hive遇到的一些坑
一朝风月
12-17 443
问题1： Exception in thread “main” java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net. 描述： 启动Hive报错 猜想： 这个应该是hive-site.xml文件和${system:java.io.tmpdir}有关的属性配置的有问题。 解决方案： 步骤1：通过下图所示命令，...
linux hive
最新发布
04-08
Linux Hive是一个基于Linux操作系统的开源项目，它提供了一个分布式数据仓库和查询引擎。它的设计灵感来自于Apache Hive，但是在一些方面进行了改进和优化。 Linux Hive的主要目标是提供一个高效、可扩展的数据仓库解决方案，可以处理大规模的数据集。它使用Hadoop作为底层的分布式存储和计算框架，可以利用Hadoop集群的计算能力来执行复杂的数据查询和分析任务。 Linux Hive使用类似于SQL的查询语言（称为HiveQL）来进行数据查询和分析。它支持常见的SQL操作，如SELECT、JOIN、GROUP BY等，同时还提供了一些扩展功能，如用户自定义函数（UDF）、分区表、桶表等。 Linux Hive的架构包括三个主要组件：Hive Metastore、Hive Server和Hive Execution Engine。Hive Metastore负责管理元数据信息，包括表结构、分区信息等；Hive Server提供了与客户端交互的接口，接收和处理查询请求；Hive Execution Engine负责将查询转换为MapReduce任务或者使用其他计算引擎执行。 总结一下，Linux Hive是一个基于Linux操作系统的开源分布式数据仓库和查询引擎，它提供了高效、可扩展的数据处理能力，并使用类似于SQL的查询语言进行数据查询和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值