zajbetterme-CSDN博客

原创 azkaban执行任务错误，修复MySQL表

问题描述：azkaban执行任务报错azkaban.executor.ExecutorManagerException: Error writing job offline-xxx-hdfs2hive-m5 at azkaban.executor.ExecutionJobDao.uploadExecutableNode(ExecutionJobDao.java:76) at azkaban.executor.JdbcExecutorLoader.uploadExecutableNode(...

2020-07-09 16:55:15 667 1

原创 hive 实践

创建hive分区表create table source(`date` bigint,event int,app string,domain string,rtype int,unique_name string,user_id string,host_name string,cluster_info string,client_isp string,isp string...

2020-04-02 16:10:12 1889

原创 spark textFile基本语法

val sparkConf = new SparkConf().setAppName("test")val sc = new SparkContext(sparkConf)val cacheRDD = sc.textFile(path,2)textFile(path,minPartitions)：path是String类型的一个URI，可以是HDFS和本地文件URI；minParti...

2020-01-07 17:06:49 569

原创 scala ---breakable

使用方法：1.需要导入scala.util.control.Breaks._这个包2.将需要通过breakable控制的代码放到breakable的大括号中例如val array = Array(1,2,4,6,29)//第一种：相当于break，跳出整个循环breakable({ for(i<- 0 until (array.length)){ ...

2019-12-30 18:11:56 262

原创 IDEA打包，运行等错误

解决方法：1.Maven内存2.排查是不是Schema结构太长可选择将schema拆分为一条一条3.pom文件<build> <sourceDirectory>src/main/scala</sourceDirectory> <!--The plugin below for those who build the...

2019-12-30 16:41:23 658

转载 Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.4.2:testCompile

修改一下版本号<groupId>net.alchim31.maven</groupId><artifactId>scala-maven-plugin</artifactId><version>3.2.0</version&g...

2019-12-30 16:32:42 1111

原创 value '$' is not a member of StringContext

解决方案：在获取sparkSession之后，添加import spark.implicits._

2019-10-08 16:37:03 1578

原创 Kafka连接失败，Caused by: java.lang.ClassNotFoundException: kafka.DefaultSource

原因在于pom文件添加scope标签，作用：编译环境可用，运行时则不可用，主要是在打包时不将这些依赖打进来，因为服务器上有，以免包过大将scope注释掉即可...

2019-10-08 14:37:07 1796 1

转载 python中matplotlib的颜色及线条控制[转载]

第二个参考网址给出了linestyle可选参数：'-' solid line style'--' dashed line style'-.' dash-dot line style':' dotted line style第二个参考网址给出了marker可选参数：'.' point marker',' ...

2019-04-24 21:32:06 147

转载与python2.7冲突，yum install 失败

1.参考https://blog.csdn.net/m0_37082962/article/details/80757364重点首先在http://rpm.pbone.net/下载各种rpm2.清除原有RHEL的YUM及相关软件包。参考https://blog.csdn.net/zhaosenoo/article/details/70919881rpm -qa | grep yu...

2019-04-17 20:06:47 1012

原创 IDEA通过SparkSql访问hive报错：Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder

Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder': at org.apache.spark.sql.SparkSession$.org$apache$spark...

2019-03-25 20:37:51 6924

转载 Error running 'x': Command line is too long. Shorten command line for x or also for Application ...

错误描述：Error running '类名': Command line is too long. Shorten command line for 类名 or also for Application default configuration.解决办法：转自https://cloud.tencent.com/developer/article/13330851.Run-->Ed...

2019-03-25 12:55:50 22027 3

原创 ipv4或ipv6没有访问权限的解决办法

1.Win+R输入gpedit.msc2.设置 - 关闭Windows网络连接状态指示器的活动测试3.勾选已启用选项4.重启电脑，成功连上网络

2019-03-19 10:57:55 58768 6

转载 kafka-console-consumer.bat 报错 zookeeper is not a recognized option

1.开启kafka的broker在kafka安装目录下启动cmd：.\bin\windows\kafka-server-start.bat .\config\server.properties2.生产者生成topic的数据3.消费者获取该topic的数据查看别人博客发现将命令改为下面写法，证实可行kafka-console-consumer.bat --bootst...

2018-11-26 17:54:20 4561

原创搭建hive时遇到的错误及解决方案

在搭建hive集群时遇到如下错误，自己亲身实践有效解决后发帖。错误1：java.net.URISyntaxException:Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D解决方案：1. 查看hive-site.xml配置 vi hive-site.xml进入vi模式 /${sy...

2018-03-16 21:24:45 438 1

zajbetterme的博客