concealed0的博客

转载资源：https://www.cnblogs.com/zkio/p/7283770.htmlHiveQL DDL语法规则包括CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTION, INDEX（创建 数据库/模式，表，视图，函数，索引） DROP DATABASE/SCHEMA, TABLE, VIEW, INDEX（删除 数据库/模式，表，视图，...

转载文章：http://blog.sina.com.cn/s/blog_c0dd8b4e0102ycsh.html/usr/hive/warehouse问题一：运行hive.sh或者hiveserver2.sh文件时报错：ls: 无法访问/home/asus/spark/lib/spark-assembly-*.jar: 没有那个文件或目录原因：hive.sh中有段代码如下...

转载资源：https://www.jianshu.com/p/69efe36d068b前言用了这么久的Hive，而没有认真的学习和使用过Hive的分区，现在学习记录一下。分区表一般在数据量比较大，且有明确的分区字段时使用，这样用分区字段作为查询条件查询效率会比较高。 Hive分区分为静态分区和动态分区1、建表语句先用一个有分区字段的分区表进行学习，静态分区和动态分区的建表...

自定义UDAF操作自定义类需要继承AbstractGenericUDAFResolver类，或者实现GenericUDAFResolver2的接口，AbstractGenericUDAFResolver类本身也是实现GenericUDAFResolver2的接口，主要作用是实现参数类型检查和操作符重载1、自定义类中需要根据需求重写public GenericUDAFEvaluator...

代码环境：Windows10+Idea19-01+spring-boot2.1.6+jdk1.8jar包运行环境：centos虚拟机+Hadoop3.1.1+hive3.1.1+jdk1.8在idea中新建一个spring-boot项目，包含基本的就行，本项目中只包含一个web包，如下pom.xml其中使用idea做udf操作必须包含hive，和Hadoop-common两个包，而且必...

内容有两个1、使用AbstractGenericUDAFResolver类返回hive单列所有字符串字符个数；2、使用GenericUDAFResolver2接口返回hive表行数；配置：pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/PO...

包含两个案例1、hive多列操作----行转列2、hive单列操作----使用split切分json数据一、udtf的介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求二、udtf的使用1、使用规则必须继承org.apache.hadoop.hive.ql....

版本信息：spark2.4 hive3.1.1异常情况：使用 alter table * compact 'major'后，spark仍无法读取hive事务表中数据具体流程如下1、建表语句create table sugon_transaction(id Int,name String) clustered by (name) into 3 buckets stored ...