piduzi的博客

因为项目需求，需要启用hdfs加密区，为了验证对现有程序的影响，我在自己的集群上配置了加密区，并测试spark和java程序读取数据。spark程序代码如下 System.setProperty("HADOOP_USER_NAME", "user1") val spark = SparkSession .builder() .master("local") .getOrCreate() // val data = spark.read.

命令行输出的java异常栈ERROR SparkContext: Error initializing SparkContext.org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master. ...

 之前做的一个项目需要用sparksql读取elasticsearch的数据，当读取的类型中包含数组时报错.读取方式大概是val options = Map("pushdown" -> "true", "strict" -> "false", "es.nodes" -> "127.0.0.1", "es.port

hdfs本身是没有身份认证的，但是为了防止用户误操作，它也有类似linux的文件权限限制我在IDE里开发程序连接hdfs因为本机名和服务器的文件所属用户名不同导致没有读取权限，错误异常堆栈如下： 这样有两种解决方法，一是更改文件权限或所属用户，二是更改本地用户名。我用的是第二种：可以在程序中定义sparksession之前。加入这么一段代码System.setProper...

之前做的一个用quartz调度周期任务的系统，我在测试的时候偶然发现quartz有时会错过第一次触发（当时我设置的是每分钟执行一次，开始时间在添加进quartz的时间之前），我找了很多博客论坛，也在百度和Stack Overflow搜索，但都没有找到有这样问题。只能一点点调试，找问题出在哪里。最后终于窥见了一些端倪，总结如下： 一，出现的问题的详细描述1.首先我设置的调度策略是with...

我已经为hue集成了ldap，本次为hive集成ldap认证之后，登录hue后，在hive editor中执行sql语句报如下错误：Bad status: 3 (PLAIN auth failed: Error validating LDAP user) (code THRIFTTRANSPORT): TTransportException('Bad status: 3 (PLAIN ...