- 博客(7)
- 收藏
- 关注
RSS订阅原创 HDP3.0.1集群适配spark程序异常处理
HDP3.0.1集群适配spark程序异常处理记录新集群环境背景介绍异常一：Hive support is required to CREATE Hive TABLE (AS SELECT)异常二：mr execution engine is not supported!异常三：.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.TokenAspect新集群环境1.HDP3.0.12.hadoop3.1
2021-02-03 10:49:14
910
原创 spark读取hive异常，java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
环境：HDP2.6.4Spark2.2.0Hive1.2.1背景：使用spark代码读取hive表数据，写入clickhouse表，相同的代码在其他HDP集群正常使用，更换新环境后，报以下异常：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning at org.apache.hadoop.hive.ql.session.SessionS
2020-11-03 09:36:15
762
原创 SparkStreaming消费kafka的各种坑，版本问题，jar包冲突
项目简介使用SparkStreaming+Kafka+SparkSQL+Hive实时消费数据，处理完之后写入hive分区表。问题1.语言问题描述：在spark官网介绍上，SparkStreaming支持三种语言编写，scala,java,python，SparkSql支持四种语言（scala,java,python,R）。我本人比较偏好使用scala编写，但是有一位同事只会使用java...
2020-02-25 22:40:43
1925
1
原创 RIT导致的数据空洞故障导致hbase读写缓慢
故障现象在hbase用户下，使用以下命令：hbase hbck -details检查所有region 和 regionserver的情况，发现存储数据空洞现象：“ERROR: There is a hole in the region chain between …… You need to create a new .regioninfo and region dir in hdfs t...
2020-01-17 10:15:51
1162
原创 HBase启动端口占用
CDH集群中HBase节点启动时，60020端口占用异常现象：1 [main] ERROR org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine - Region server exitingjava.lang.RuntimeException: Failed construction of Regionserve...
2019-12-10 16:00:04
733
原创 集群中yarn调度节点失效分析解决
Yarn-1/1 local-dirs are bad: /app/yarn/nm; 1/1 log-dirs are bad: /app/yarn/container-logs相关连接在cdh集群上跑任务的时候，cm界面上报这个错误：分析过程：核对yarn日志所在的磁盘空间，剩余空间足够使用，所以，此问题并非是由于磁盘空间不足引起的；经过仔细排查，发现/app/yarn文件目录的权限不属...
2019-12-09 23:56:13
831
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人