- 博客(7)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 解决hive查询parquet表报错NullPointerException异常问题(ProjectionPusher.java:118)
这个问题在hive3.1已经解决，但是我查看源码之后发现hive2.3.6还是没解决，其实解决办法很简单，不知道为什么一直不更新，对应hivebug是HIVE-16958，我的报错信息如下Diagnostic Messages for this Task:Error: java.io.IOException: java.lang.reflect.InvocationTargetExceptio...
2020-02-28 15:09:44
2864
4
原创 hive参数
hive.optimize.reducededuplication.min.reducer=4hive.optimize.reducededuplication=truehive.merge.mapfiles=truehive.merge.mapredfiles=falsehive.merge.smallfiles.avgsize=16000000hive.merge.size.per....
2020-02-28 14:02:12
232
原创 azkaban源码编译安装(解决[Azkaban] Unable to get scheduled flow triggers问题)
1 安装Mysqlmysql安装文档有很多这里不详细描述2 打包编译azkaban由于azkaban编译需要下载很多依赖JAR，国外镜像比较慢，所以需要修改为国内镜像yum -y install gitcd /root/.gradle/vi init.gradle# 添加如下内容allprojects{ repositories { def ALIYUN_R...
2020-02-27 16:59:14
2296
7
原创 将spark与hadoop返回的日期转换为北京时间
由于spark与hadoop api返回的时间是GMT时间，不是标准的北京时间，现将转换函数发出来/** * 这里的 * @param gmtTime * 这里的gmtTime时间格式根据spark返回的格式定义 * @param pattern * @return */ public String parseGMTToLoca...
2020-02-18 15:50:37
537
原创 SparkRESTApi使用JAVA封装
项目功能就是封装SparkRestApi，用到了httpclient以及yarnclient，pom如下<?xml version="1.0" encoding="UTF-8"?>4.0.0org.springframework.bootspring-boot-starter-parent2.2.2.RELEASE com.wisetvsparkprojectma...
2020-02-13 16:07:12
590
原创 Spark Yarn通过代码获取Spark相关信息以及开启SpringBoot项目开启Spark REST API
应公司需求，需要整合SpringBoot与Spark项目，但是由于依赖包问题，无法打开自己部署的SparkYarn项目的REST Api，所以下面先贴一下pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww...
2020-02-13 09:38:29
414
原创 Spark REST服务api官网地址
Spark自带的REST 服务http://spark.apache.org/docs/latest/monitoring.htmlGithub上封装的api的项目，地址https://github.com/ywilkof/spark-jobs-rest-client
2020-02-12 11:48:49
927
backuppc-xs-0.59.tar.gz
2020-05-06
MySQL 8 Cookbook Kindle正版
2018-09-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人