![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 94
wtzhm
有梦想没有金钱,想健身没有时间!
展开
-
HIVE 乱码问题
HIVE 乱码问题1.概述创建表的时候,comment说明字段包含中文,表成功创建成功之后,中文说明显示乱码,这是因为在MySQL中的元数据出现乱码,那么我们只需要把相应注释的地方的字符集由 latin1 改成 utf-8,就可以了。用到注释的就三个地方,表、分区、视图。 2.解决方案进入数据库 Metastore 中执行以下 5 条 SQL 语句修改表字段注解和表注...原创 2018-08-24 17:16:57 · 676 阅读 · 0 评论 -
HIVE基础详解
HIVE基础详解1.修改配置的三种方法修改${HIVE_HOME}/conf/hive-site.xml配置文件 在Hive中,所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件中,如果需要对默认的配置进行修改,可以创建一个hive-site.xml文件,所有的配置都是放在标签之间,一个configuration标签里面可以存在多个标签。标签...原创 2018-08-15 14:37:08 · 925 阅读 · 0 评论 -
hive分区、分桶、sql语句
hive分区、分桶、sql语句1. sql语句1.1 创建表CREATE TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT原创 2018-01-16 18:31:24 · 6740 阅读 · 0 评论 -
Hive 概念与安装
Hive 概念与安装1.概述与特点Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn上2.hive的优缺点优点操作接口采用类SQL语法,提供快速开发的能力原创 2018-01-15 14:05:28 · 273 阅读 · 0 评论 -
HIVE窗口函数
HIVE窗口函数1. Hive窗口函数 SUM,AVG,MIN,MAX数据格式zhm,2018-04-10,12zhm,2018-04-11,51zhm,2018-04-12,72zhm,2018-04-13,31zhm,2018-04-14,21zhm,2018-04-15,14zhm,2018-04-16,44 创建表 create table fun_table1 ...原创 2018-10-09 09:33:21 · 374 阅读 · 0 评论 -
HIVE 数据倾斜
HIVE 数据倾斜1. 什么是数据倾斜由于数据分布不均匀,造成数据大量的集中到一点,造成数据热点2. 产生数据倾斜的原因A:key 分布不均匀一个表很小,但是key集中;分发到某一个或者几个Reduce上的数据远高于平均值。B:业务数据本身的特性C:建表考虑不周全D:某些 HQL 语句本身就存在数据倾斜group by数据维度非常的小,某值的数据非常多;处理某值的reduce非...原创 2018-10-09 14:52:05 · 793 阅读 · 0 评论 -
HIVE 的 HQL 总结
HIVE 的 HQL 总结1. group by 与 where 与 havingA. having只能用在group by之后,对分组后的结果进行筛选(即使用having的前提条件是分组)。使用having字句对分组后的结果进行筛选B. where肯定在group by 之前,当结合在一起时,where在前,group by 在后。即先对select xx from xx的记录集合用whe...原创 2018-10-10 16:56:13 · 434 阅读 · 0 评论 -
hive 的JDBC/ODBC接口
hive 的JDBC/ODBC接口1. 概述hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI,JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式非常类似。2. 导入依赖包 <dependency> <groupId>org.apache.hive</groupId> <arti...原创 2018-11-05 15:15:16 · 4016 阅读 · 0 评论 -
hive 自定义函数UDF
hive 自定义函数UDF1. 内置函数查看内置函数: show functions;显示内置函数的详细信息: desc funcation sum;显示函数的扩展信息: desc funcation extended sum;2. 自定义函数UDF当hive提供的内置函数无法满足业务处理需求时,此时就可以考虑使用用户自定义函数。UDF(user-defined functi...原创 2019-04-25 16:35:26 · 1408 阅读 · 0 评论