- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hive小操作·关于 spark2.4-读取hive3.1事务表
版本信息：spark2.4 hive3.1.1异常情况：使用 alter table * compact 'major'后，spark仍无法读取hive事务表中数据具体流程如下1、建表语句create table sugon_transaction(id Int,name String) clustered by (name) into 3 buckets stored ...
2019-08-22 23:09:53
5154
1
原创 Spark2.4-----JVM 内存不足
1、虚拟机配置物理内存：3G磁盘大小：100G2、使用hive插入事务表提示内存不足如下Diagnostic Messages for this Task:[2019-08-20 14:10:13.903]Container [pid=33009,containerID=container_1566276450532_0003_01_000018] is running 3...
2019-08-22 23:05:10
1001
1
原创 hive小操作·自定义函数 udtf
包含两个案例1、hive多列操作----行转列2、hive单列操作----使用split切分json数据一、udtf的介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求二、udtf的使用1、使用规则必须继承org.apache.hadoop.hive.ql....
2019-08-22 23:01:42
1137
原创 hvie小操作·自定义函数UDAF 总结
内容有两个1、使用AbstractGenericUDAFResolver类返回hive单列所有字符串字符个数；2、使用GenericUDAFResolver2接口返回hive表行数；配置：pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/PO...
2019-08-22 22:53:42
572
原创 hive操作·自定义聚合函数udaf
自定义UDAF操作自定义类需要继承AbstractGenericUDAFResolver类，或者实现GenericUDAFResolver2的接口，AbstractGenericUDAFResolver类本身也是实现GenericUDAFResolver2的接口，主要作用是实现参数类型检查和操作符重载1、自定义类中需要根据需求重写public GenericUDAFEvaluator...
2019-08-08 18:19:44
800
原创 hive小操作·Ieda下的hive-udf操作
代码环境：Windows10+Idea19-01+spring-boot2.1.6+jdk1.8jar包运行环境：centos虚拟机+Hadoop3.1.1+hive3.1.1+jdk1.8在idea中新建一个spring-boot项目，包含基本的就行，本项目中只包含一个web包，如下pom.xml其中使用idea做udf操作必须包含hive，和Hadoop-common两个包，而且必...
2019-08-06 18:06:53
333
转载 Hive分区表学习总结
转载资源：https://www.jianshu.com/p/69efe36d068b前言用了这么久的Hive，而没有认真的学习和使用过Hive的分区，现在学习记录一下。分区表一般在数据量比较大，且有明确的分区字段时使用，这样用分区字段作为查询条件查询效率会比较高。 Hive分区分为静态分区和动态分区1、建表语句先用一个有分区字段的分区表进行学习，静态分区和动态分区的建表...
2019-08-02 08:57:53
139
原创 hive Permission denied: user=anonymous, access=WRITE
转载文章：http://blog.sina.com.cn/s/blog_c0dd8b4e0102ycsh.html/usr/hive/warehouse问题一：运行hive.sh或者hiveserver2.sh文件时报错：ls: 无法访问/home/asus/spark/lib/spark-assembly-*.jar: 没有那个文件或目录原因：hive.sh中有段代码如下...
2019-08-01 11:48:02
2838
原创 Hadoop集群datanode死掉或者secondarynamenode进程消失处理办法
转载文章：https://www.cnblogs.com/zhzhang/p/3966368.html当Hadoop集群的某单个节点出现问题时，一般不必重启整个系统，只须重启这个节点，它会自动连入整个集群。在坏死的节点上输入如下命令即可：hadoop-daemon.sh start datanodehadoop-daemon.sh start secondarynamenode...
2019-08-01 09:31:00
958
Windows环境脚本部署Redis集群.zip
2019-12-10
海康威视WEB3.0多版本开发控件.zip
2019-07-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人