zhm的博客

HIVE 乱码问题1.概述创建表的时候，comment说明字段包含中文，表成功创建成功之后，中文说明显示乱码，这是因为在MySQL中的元数据出现乱码，那么我们只需要把相应注释的地方的字符集由 latin1 改成 utf-8，就可以了。用到注释的就三个地方，表、分区、视图。 2.解决方案进入数据库 Metastore 中执行以下 5 条 SQL 语句修改表字段注解和表注...

HIVE基础详解1.修改配置的三种方法修改${HIVE_HOME}/conf/hive-site.xml配置文件 在Hive中，所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件中，如果需要对默认的配置进行修改，可以创建一个hive-site.xml文件,所有的配置都是放在标签之间，一个configuration标签里面可以存在多个标签。标签...

hive分区、分桶、sql语句1. sql语句1.1 创建表CREATE TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT

Hive 概念与安装1.概述与特点Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn上2.hive的优缺点优点操作接口采用类SQL语法，提供快速开发的能力

HIVE窗口函数1. Hive窗口函数 SUM,AVG,MIN,MAX数据格式zhm,2018-04-10,12zhm,2018-04-11,51zhm,2018-04-12,72zhm,2018-04-13,31zhm,2018-04-14,21zhm,2018-04-15,14zhm,2018-04-16,44 创建表 create table fun_table1 ...

HIVE 数据倾斜1. 什么是数据倾斜由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点2. 产生数据倾斜的原因A：key 分布不均匀一个表很小，但是key集中；分发到某一个或者几个Reduce上的数据远高于平均值。B：业务数据本身的特性C：建表考虑不周全D：某些 HQL 语句本身就存在数据倾斜group by数据维度非常的小，某值的数据非常多；处理某值的reduce非...

HIVE 的 HQL 总结1. group by 与 where 与 havingA. having只能用在group by之后，对分组后的结果进行筛选(即使用having的前提条件是分组)。使用having字句对分组后的结果进行筛选B. where肯定在group by 之前,当结合在一起时，where在前，group by 在后。即先对select xx from xx的记录集合用whe...

hive 的JDBC/ODBC接口1. 概述hive提供了三种用户接口：CLI，JDBC/ODBC和 WebUI，JDBC/ODBC 是 Hive 的Java，与使用传统数据库JDBC的方式非常类似。2. 导入依赖包 <dependency> <groupId>org.apache.hive</groupId> <arti...

hive 自定义函数UDF1. 内置函数查看内置函数： show functions;显示内置函数的详细信息： desc funcation sum;显示函数的扩展信息： desc funcation extended sum;2. 自定义函数UDF当hive提供的内置函数无法满足业务处理需求时，此时就可以考虑使用用户自定义函数。UDF（user-defined functi...