Hive
我在北国不背锅
致力于AI大模型、Java、大数据、运维及各类计算机技术为一体的知识架构
展开
-
解决使用HiveServer2出现的各种连接问题
这几天自己部署一个测试的Hadoop集群,要测试一些hive数据获取的接口功能。Hive部署好后,使用HiveServer2连接总是出现一些模型奇妙的问题:问题1:Connection refused问题2:Connection reset问题3:一个客户端使用jdbc:hive2连接后,其他客户端就连接不上解决方法:1、确保hive-site.xml配置的没有问题,我一开始就是没有配置hiveserver2用户名和密码,一直是使用的服务器的用户名和密码登录的。<configuration原创 2021-10-15 10:00:37 · 5925 阅读 · 0 评论 -
Hive连接报错:Required field ‘client_protocol‘ is unset! Struct:TOpenSessionReq
问题:原因分析:JDBC版本问题。解决方法:1、查询hive版本;2、选择合适的maven依赖:<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.2.0</version></dependency>修改为:<dependenc原创 2021-10-14 17:45:18 · 2132 阅读 · 0 评论 -
Required field ‘serverProtocolVersion‘ is unset! & User: root is not allowed to impersonate root
在使用hiveserver2连接hive时,遇到以下报错:Beeline version 2.3.8 by Apache Hivebeeline> ! connect jdbc:hive2://cdh02:10000Connecting to jdbc:hive2://cdh02:10000Enter username for jdbc:hive2://cdh02:10000: rootEnter password for jdbc:hive2://cdh02:10000: ********原创 2021-09-22 16:12:01 · 783 阅读 · 0 评论 -
基于hive数仓的数据字典查询
SELECT D.NAME AS SCHEMA_NAME, -- 数据库名称 T.TBL_NAME AS TABLE_NAME_EN, -- 表名 P.PARAM_VALUE AS TABLE_NAME_CN, C.INTEGER_IDX AS COLUMN_ID, -- 字段序号 C.COLUMN_NAME AS COLUMN_NAME_EN, -- 字段名 C.COMMENT AS COLUMN_NAME_CN, -- 字段备注 C.TYPE_NAME AS COLUMN_DATA_TYP转载 2020-07-17 17:59:18 · 4209 阅读 · 0 评论 -
impala同步hive元数据
1、登录impala-shell[root@node03 impala]# impala-shellStarting Impala Shell without Kerberos authenticationConnected to node03:21000Server version: impalad version 2.11.0-cdh5.14.0 RELEASE (build d682...原创 2020-04-07 18:24:25 · 4230 阅读 · 0 评论 -
实现hive到hive数据迁移(同步)
背景:存在某种情况,HIVE数据可能要从一个HDFS中,传到另一个hdfs中。可以说是迁移,也可能是数据同步。步骤:假设有一张user表如下:CREATE TABLE `jc_db.t_user` ( `id` bigint COMMENT '主键', `username` string COMMENT '账号', `password` string COMMENT '密码',...原创 2020-03-24 14:06:36 · 8259 阅读 · 1 评论 -
实现Oracle到Hive数据同步更新的shell脚本
Sqoop实现将 Oracle中的增量数据导入 Hive,并更新Hive中的主表:shell脚本:#!/bin/bash #Please set the synchronize interval,unit is hour.update_interval=24 #Please set the RDBMS connection paramsrdbms_connstr="jdbc:ora...原创 2020-03-24 13:51:56 · 4289 阅读 · 0 评论 -
关于Hive支持的隐形类型转换
隐式转换:同Java语言一样,Hive也包括隐式转换(implicit conversions)和显式转换(explicitly conversions)。Hive在需要的时候将会对numeric类型的数据进行隐式转换。比如我们对两个不同数据类型的数字进行比较,假如一个数据类型是INT型,另一个是SMALLINT类型,那么SMALLINT类型的数据将会被隐式转换地转换为INT类型,这个到底和J...原创 2019-11-29 11:02:33 · 3920 阅读 · 0 评论 -
hive服务的启动和关闭
关闭可以通过ps -ef|grep hive 来看hive 的端口号,然后kill 掉相关的进程。启动java代码访问hive:启动metastorenohup hive --service metastore 2>&1 & 启动hiveserver2nohup hive --service hiveserver2 2>&1 &...原创 2019-11-19 14:11:31 · 7728 阅读 · 0 评论 -
java 实现 Hive 数据导入到 mysql
参考地址:https://blog.csdn.net/lizhihaoweiwei/article/details/77770887代码开源地址:https://github.com/juniorfans/hiveToMysql/blob/master/HiveToMysql.java转载 2019-10-23 16:04:58 · 4467 阅读 · 0 评论