2018年12月_tom_fans

原创 Spark (null) entry in command string: null chmod 0700

使用ecplise来提交SPARK SQL的时候报错：Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.io.IOException: (null) entry in command string: null chmod 0700 C:\Use...

2018-12-27 12:29:37 2751

原创 CDH Disable kerberos

搜索每个服务是否有Kerberos,然后选择simple，重启服务会有几个错误：1. 之前HDFS的http端口改变为了小于1024，因此无法启动了，需要还原为原来的50007之类的端口。2. HBASE启动会报错，因为默认/hbase目录在ZK的权限为：[zk: localhost:2181(CONNECTED) 13] getAcl /hbase'world,'anyone:...

2018-12-25 13:14:45 394

原创 Hive/Impala/Hbase/Spark Kerberos

使用hadoop Kerberos有几个地方需要注意，避免真实环境老是有问题：1. 我以前使用IP地址构建集群(虽然也用了DNS解析），但是有时候你直接通过主机名+DNS解析来做集群，这2者从我实际测试来看是有区别的，使用IP没有任何问题，但是使用DNS解析，开启kerberos总是会有些许问题，因此如果使用DNS解析，建议客户端连接kerberos的主机把集群的IP和主机名写入/etc/ho...

2018-12-25 10:11:05 818

原创 sqoop 连接ORACLE connection reset

生产环境的sqoop去抽取oracle数据库, 不定期就会有些JOB显示错误connection reset. 查看SQOOP官方文档，链接地址：https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_oracle_connection_reset_errors说是因为JDBC加密获取随机数导致时间超时。提示SQOOP在抽取时添加...

2018-12-18 10:26:13 2186

原创 ecplise提交JOB到spark on yarn/standalone

以前我通常是把scala或者java程序打包，这样在发布的时候可以结合传统运维的jekins发布规则，只需要运维手动点击发布即可，不需要每次手动发布。最近我手动使用ecplise来提交JOB，碰到一些问题做个记录：1. ecplise提交JOB到spark on yarn下面是一个很简单的程序，统计a.sql行数public class App { public static ...

2018-12-18 09:02:57 406

原创 Impala JDBC bug

此文仅仅适合开启了简单认证权限的impala，也就是使用sentry+OS用户组来简单控制impala访问控制权限。impala JDBC有2种访问方式，一种是使用hive2 jdbc访问，一种使用impala 自己的JDBC访问。参阅官方文档了解详情: https://www.cloudera.com/documentation/enterprise/latest/topics/imp...

2018-12-05 16:59:25 7946 8

tom_fans的博客