bigdata
文章平均质量分 87
远方的眺望
这个作者很懒,什么都没留下…
展开
-
HDP3.0.1集群适配spark程序异常处理
HDP3.0.1集群适配spark程序异常处理记录新集群环境背景介绍异常一:Hive support is required to CREATE Hive TABLE (AS SELECT)异常二:mr execution engine is not supported!异常三:.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.TokenAspect新集群环境1.HDP3.0.12.hadoop3.1原创 2021-02-03 10:49:14 · 912 阅读 · 0 评论 -
spark读取hive异常,java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
环境:HDP2.6.4Spark2.2.0Hive1.2.1背景:使用spark代码读取hive表数据,写入clickhouse表,相同的代码在其他HDP集群正常使用,更换新环境后,报以下异常:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning at org.apache.hadoop.hive.ql.session.SessionS原创 2020-11-03 09:36:15 · 763 阅读 · 0 评论 -
SparkStreaming消费kafka的各种坑,版本问题,jar包冲突
项目简介使用SparkStreaming+Kafka+SparkSQL+Hive实时消费数据,处理完之后写入hive分区表。问题1.语言问题描述:在spark官网介绍上,SparkStreaming支持三种语言编写,scala,java,python,SparkSql支持四种语言(scala,java,python,R)。我本人比较偏好使用scala编写,但是有一位同事只会使用java...原创 2020-02-25 22:40:43 · 1927 阅读 · 1 评论 -
spark2.x编译步骤及异常处理
编译步骤原创 2020-01-17 11:38:36 · 200 阅读 · 0 评论 -
RIT导致的数据空洞故障导致hbase读写缓慢
故障现象在hbase用户下,使用以下命令:hbase hbck -details检查所有region 和 regionserver的情况,发现存储数据空洞现象:“ERROR: There is a hole in the region chain between …… You need to create a new .regioninfo and region dir in hdfs t...原创 2020-01-17 10:15:51 · 1164 阅读 · 0 评论 -
HBase启动端口占用
CDH集群中HBase节点启动时,60020端口占用异常现象:1 [main] ERROR org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine - Region server exitingjava.lang.RuntimeException: Failed construction of Regionserve...原创 2019-12-10 16:00:04 · 734 阅读 · 0 评论 -
集群中yarn调度节点失效分析解决
Yarn-1/1 local-dirs are bad: /app/yarn/nm; 1/1 log-dirs are bad: /app/yarn/container-logs相关连接在cdh集群上跑任务的时候,cm界面上报这个错误:分析过程:核对yarn日志所在的磁盘空间,剩余空间足够使用,所以,此问题并非是由于磁盘空间不足引起的;经过仔细排查,发现/app/yarn文件目录的权限不属...原创 2019-12-09 23:56:13 · 835 阅读 · 0 评论