hadoop
基层码工
这个作者很懒,什么都没留下…
展开
-
Apache Phoenix自定义函数(UDF)实践
Apache Phoenix自定义函数,文章包含代码、配置、以及自己遇到的一些坑分享三大部分。环境:JDK1.8、CDH5.14.4。开发语言:java官网链接:http://phoenix.apache.org/udf.html自定义函数功能描述:根据一个日期,返回所属季度一. 代码1. 创建maven J2SE工程,配置pom文件 <properties> ...原创 2019-01-07 14:07:43 · 3193 阅读 · 3 评论 -
Exception in thread "main" org.apache.spark.sql.AnalysisException: "to_account_date" is not a numeri
以下spark dataframe 代码df.groupBy("name").min("date")```报错信息如下:Exception in thread "main" org.apache.spark.sql.AnalysisException: "to_account_date" is not a numeric column. Aggregation function can ...原创 2019-05-29 18:10:28 · 4068 阅读 · 2 评论 -
Futures timed out after [10 seconds]. This timeout is controlled by spark.executor.heartbeatInterva
问题描述:提交spark-submit时,在ssh终端提交没有问题,但是在代码中ssh登陆后,再提交命令就出现以下问题了,开始怀疑是用户问题,但是如果是用户问题,那么我在ssh终端同一个用户执行又执行正确,故排除了此情况。第二感觉是环境变量,我在.sh添加环境后,还是报错。sh文件#!/bin/bash#调用java 程序需要添加上,否则直接跳出shell#export JAVA_HOME...原创 2019-05-31 13:52:07 · 6762 阅读 · 0 评论 -
Exception in thread "main" java.sql.SQLException: No suitable driver
spark写入结果集至MySQL时报以下错误信息,记录下,供各位同行快速解决问题spark dataframe结果数据保存至MySQL时报以下错误信息,而读取时没有问题错误1:驱动找不到Exception in thread "main" java.sql.SQLException: No suitable driver at java.sql.DriverManager.getDrive...原创 2019-05-30 19:26:59 · 12589 阅读 · 1 评论 -
spark dataframe所有列
spark dataframe获取所有列名:dataFrame.schema.fields.map(f =>f.name).toList原创 2019-05-27 21:06:59 · 4004 阅读 · 0 评论 -
KeeperErrorCode = NoNode for /hbase/meta-region-server
连接hbase报以下错:Caused by: java.io.IOException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/meta-region-server at org.apache.hadoop.hbase.client.ConnectionI...原创 2019-05-23 11:48:55 · 6375 阅读 · 0 评论 -
oozie action shell 实战(完整配置文件)
有一个这样的需求,apache oozie调用shell命令(x.sh的脚本文件),x.sh的逻辑为先执行第一个jar包命令,后执行一个spark任务,第一个jar任务命令执行成功后返回的结果作为参数传递给第二个命令,再执行第二个spark-submit命令。不要问为什么不用两个action(一个为shellaction,另外一个为spark action)的话,啥叫需求,反正你懂。调试过程中,发...原创 2019-05-17 20:26:53 · 1679 阅读 · 0 评论 -
oozie spark action
TaskSetFailed$1.apply(DAGScheduler.scala:831) at scala.Option.foreach(Option.scala:257) at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:831) at org.apache.spark.sc...原创 2019-05-22 19:49:53 · 323 阅读 · 0 评论 -
spark Dataframe值转换,更新
有一个这样的需求,原来Dataframe存储如下需要把gender中的值转换为自己想要的值,如1-》男2-》女3-》未知“”->空值…关键代码如下://值映射函数val valueMappingFun = (columnValue: String) => { val xValue = if (CheckUtil.isEmpty(columnValue)) "...原创 2019-04-24 15:13:08 · 2613 阅读 · 2 评论 -
Exception in thread "main" org.apache.spark.sql.AnalysisException: Resolved attribute(s)
因业务特殊,对同一个df进行两次join会报以下错:Exception in thread "main" org.apache.spark.sql.AnalysisException: Resolved attribute(s) goods_name#1139 missing from order_id#498,goods_name#476 in operator !TypedFilter &l...原创 2019-05-29 18:17:07 · 7646 阅读 · 0 评论