programmer_trip的博客

当spark读取hive表时,抛出下面的异常org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.metadata.Hive.getAllDatabases(Hive.java:1

先贴代码idea中运行SparkStreaming时，动态添加文件至指定目录下，结果没有任务信息输出问题原因：①idea所在主机时间和hdfs集群时间不同步②代码中指定的hdfs目录为非空(启动之前已经有文件)解决办法①将hdfs集群时间与主机时间进行同步1 首先停掉hdfs集群的所有进程2 关闭虚拟机3 为每台虚拟机勾选 将客户机时间与主机同步(S)4 重启虚拟机5 启动集群 时间同步成功②保证代码中指定的hdfs路径是空的或者路径不存在也可以，会自动创建③以上两