![](https://img-blog.csdnimg.cn/20200619172649860.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hive
Hive
Geoffrey Turing
Engaged in Java RD,BigDataRD,SRE... Contribute to Apache Hadoop/Kafka/Pulsar/Doris community
展开
-
HiveSQL报错AssertionError
sql执行报错Error running query: java.lang.AssertionError: Internal error: While invoking method 'public org.apache.calcite.sql2rel.RelFieldTrimmer$TrimResult org.apache.hadoop.hive.ql.optimizer.calcite.rules.HiveRelFieldTrimmer.trimFields(org.apache.calcite.r原创 2021-05-31 15:43:50 · 3205 阅读 · 0 评论 -
Hive压缩算法与文件存储格式总结
压缩和存储1、 Hadoop压缩配置1) MR支持的压缩编码压缩格式工具算法文件扩展名是否可切分DEFAULT无DEFAULT.deflate否GzipgzipDEFAULT.gz否bzip2bzip2bzip2.bz2是LZOlzopLZO.lzo否LZ4无LZ4.lz4否Snappy无Snappy.snappy否为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,如下表所示原创 2020-06-23 23:39:10 · 907 阅读 · 0 评论 -
HiveServer2高可用配置
hive—high Avaliable hive的搭建方式有三种,分别是 1、Local/Embedded Metastore Database (Derby) 2、Remote Metastore Database 3、Remote Metastore Server 一般情况下,我们在学习的时候直接使用hive –service metastore的方式启动服务端,使用hive的方式直接访问登录客户端,除了这种方式之外,hive提供了hiveserver2的服务端启动方原创 2020-06-23 23:35:41 · 1043 阅读 · 0 评论 -
12个Hive优化点汇总
Hive优化 Hive的存储层依托于HDFS,Hive的计算层依托于MapReduce,一般Hive的执行效率主要取决于SQL语句的执行效率,因此,Hive的优化的核心思想是MapReduce的优化。1、查看Hive执行计划(小白慎用) Hive的SQL语句在执行之前需要将SQL语句转换成MapReduce任务,因此需要了解具体的转换过程,可以在SQL语句中输入如下命令查看具体的执行计划。--查看执行计划,添加extended关键字可以查看更加详细的执行计划explain [extende原创 2020-06-23 22:05:45 · 1604 阅读 · 30 评论 -
Hive动态分区和分桶
1、Hive动态分区1.1、hive的动态分区介绍 hive的静态分区需要用户在插入数据的时候必须手动指定hive的分区字段值,但是这样的话会导致用户的操作复杂度提高,而且在使用的时候会导致数据只能插入到某一个指定分区,无法让数据散列分布,因此更好的方式是当数据在进行插入的时候,根据数据的某一个字段或某几个字段值动态的将数据插入到不同的目录中,此时,引入动态分区。1.2、hive的动态分区配置--hive设置hive动态分区开启 set hive.exec.dynamic.partition=原创 2020-06-21 22:05:38 · 1335 阅读 · 4 评论 -
Hive参数设置和运行方式汇总
1、Hive参数操作1.2、hive参数介绍 hive当中的参数、变量都是以命名空间开头的,详情如下表所示:命名空间读写权限含义hiveconf可读写hive-site.xml当中的各配置变量例:hive --hiveconf hive.cli.print.header=truesystem可读写系统变量,包含JVM运行参数等例:system:user.name=rootenv只读环境变量例:env:JAVA_HOMEhivevar可读写例:原创 2020-06-21 21:29:22 · 2226 阅读 · 19 评论 -
Hive函数汇总及UDF开发
Hive函数 Hive中提供了非常丰富的运算符和内置函数支撑,具体操作如下:1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败,因为无效的语法。 SQL使用”=”,不使用”==”。A <> B所有原始类型如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”,结果返回”NULL”。A < B所有原始类型如果A小于B返回TRU原创 2020-06-21 21:12:48 · 935 阅读 · 36 评论 -
一文熟悉HiveServer2
1、HiveServer2基本概念1.1、HiveServer2基本介绍HiveServer2 (HS2) is a server interface that enables remote clients to execute queries against Hive and retrieve the results (a more detailed intro here). The current implementation, based on Thrift RPC, is an improved原创 2020-06-21 20:52:17 · 1053 阅读 · 0 评论 -
Hive Serde用法详解
Hive Serde1、目的: Hive Serde用来做序列化和反序列化,构建在数据存储和执行引擎之间,对两者实现解耦。2、应用场景: 1、hive主要用来存储结构化数据,如果结构化数据存储的格式嵌套比较复杂的时候,可以使用serde的方式,利用正则表达式匹配的方法来读取数据,例如,表字段如下:id,name,map<string,array<map<string,string>>> 2、当读取数据的时候,数据的某些特殊格式不希望显示在数据中,如:原创 2020-06-21 20:39:38 · 3188 阅读 · 0 评论 -
Hive基本SQL操作(图文并茂)
Hive基本SQL操作Hive DDL(数据库定义语言)1、数据库的基本操作--展示所有数据库 show databases;--切换数据库 use database_name;/*创建数据库 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=pro原创 2020-06-21 19:20:38 · 14399 阅读 · 11 评论 -
Hive安装搭建(三种模式)
03 Hive的安装搭建Hive可以从源码中编译安装,也可以直接使用官网下载的安装包,在此处我们选择安装包解压安装的方式。Hive中最最重要的角色就是metastore因此按照metastore的管理共有四种hive的安装搭建方式:官网参考地址如下:https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore+AdministrationHive安装分类: 1、Local/Embedded Metastore Da原创 2020-06-19 17:53:55 · 412 阅读 · 0 评论 -
Hive架构、角色进程、访问流程
Hive的架构1、Hive的架构图2、Hive的服务(角色)1、用户访问接口 CLI(Command Line Interface):用户可以使用Hive自带的命令行接口执行Hive QL、设置参数等功能 JDBC/ODBC:用户可以使用JDBC或者ODBC的方式在代码中操作Hive Web GUI:浏览器接口,用户可以在浏览器中对Hive进行操作(2.2之后淘汰HWI)2、Thrift Server: Thrift服务运行客户端使用Java、C++、Ruby等多种语言,通原创 2020-06-18 23:41:51 · 1174 阅读 · 0 评论 -
Hive数仓相关概念总结
01 Hive的基本介绍1、hive产生的原因· a) 方便对文件及数据的元数据进行管理,提供统一的元数据管理方式 b) 提供更加简单的方式来访问大规模的数据集,使用SQL语言进行数据分析2、hive是什么?The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. St原创 2020-06-18 23:34:19 · 1266 阅读 · 0 评论 -
hive远程元数据服务模式安装
hive远程元数据服务模式安装:1、选择两台虚拟机,node03作为服务端,node04作为客户端,(mysql在node1上)2、分别在node03和node04上解压hive的安装包,或者在从node02上远程拷贝hive的安装包到node03和node043、node03修改hive-site.xml配置: <property> <name>hive.metastore.warehouse.dir</name> <value>/user/原创 2020-06-18 23:26:37 · 305 阅读 · 0 评论 -
hive参数大全
parametersdescriptiondefaulthive.server2.thrift.min.worker.threads最小工作线程数5hive.server2.thrift.max.worker.threads最大工作线程数500hive.server2.thrift.portTCP 的监听端口10000hive.server2.thrift.bind.hostTCP绑定的主机localhosthive.server2.transp...原创 2020-06-18 23:24:13 · 846 阅读 · 1 评论 -
Hive远程数据库模式安装
Hive远程数据库模式安装安装hive的步骤:1、解压安装2、修改环境变量 vi /etc/profile export HIVE_HOME=/opt/bigdata/hive-2.3.4 将bin目录添加到PATH路径中3、修改配置文件,进入到/opt/bigdata/hive-2.3.4/conf //修改文件名称,必须修改,文件名称必须是hive-site.xml mv hive-default.xml.template hive-site.xml //增加配置:原创 2020-06-18 23:01:23 · 343 阅读 · 1 评论