Spark
programmer_trip
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
spark读取hive表抛出org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
当spark读取hive表时,抛出下面的异常 org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.metadata.Hive.getAllDatabases(Hive.java:1原创 2020-09-22 19:40:35 · 2871 阅读 · 2 评论 -
idea运行Sparkstreaming读取hdfs文件遇到的问题
先贴代码 idea中运行SparkStreaming时,动态添加文件至指定目录下,结果没有任务信息输出 问题原因: ①idea所在主机时间和hdfs集群时间不同步 ②代码中指定的hdfs目录为非空(启动之前已经有文件) 解决办法 ①将hdfs集群时间与主机时间进行同步 1 首先停掉hdfs集群的所有进程 2 关闭虚拟机 3 为每台虚拟机勾选 将客户机时间与主机同步(S) 4 重启虚拟机 5 启动集群 时间同步成功 ②保证代码中指定的hdfs路径是空的或者路径不存在也可以,会自动创建 ③以上两原创 2020-08-25 20:08:31 · 936 阅读 · 0 评论
分享