![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据问题
。。。
程序员阿伟
热爱编程,编程可以改变生活
专注大数据领域
前后端略有涉及
喜欢分享好玩有趣的小项目
个人座右铭:编程之路没有尽头,永远保持自己的热爱
展开
-
Caused by: java.lang.IllegalStateException: No operators defined in streaming topology. Cannot execu
当没有流的存在时,不要在代码的最后加上env.execute(),其实报错也没问题,照样能运行。在整个代码中没有流算子的存在,因为都是使用table sql的数据类型。原创 2023-02-28 14:50:02 · 944 阅读 · 0 评论 -
client.SparkClientImpl (SparkClientImpl.java:<init>(120)) - Timed out waiting for client to connect.
在hive-site.xml中增加,可以加大点数值。原创 2022-08-24 12:07:18 · 646 阅读 · 0 评论 -
Channel closed [channel=c1]. Due to java.io.IOException: Usable space exhausted, only 441741312 byte
flume报错:这是由于我们flume数据存储在服务器上的目录的磁盘空间不满足于flume配置文件的磁盘配置解决办法:增大磁盘空间或改小文件配置a1.channels.c1.minimumRequiredSpace = 102400原创 2022-05-25 19:00:30 · 603 阅读 · 0 评论 -
SPARK任务运行报错:Caused by: java.util.concurrent.TimeoutException: Timed out waiting for RPC
问题原因这是因为hive将spark任务往yarn上提交时超时了,因此hive直接判定该spark任务执行失败解决方法修改hive-site.xml文件,增大hive.spark.client.server.connect.timeout的值 <property> <name>hive.spark.client.server.connect.timeout</name> <value>50000...原创 2022-05-13 21:21:23 · 1839 阅读 · 0 评论 -
hadoop的namenode无法启动只能通过格式化解决?
问题报错问题忘记记录了,口头描述一下吧,事情是这样的,今天启动hadoop集群的时候,突然namenode无法启动了,之前都是可以正常启动的,我回忆了一下,应该是我最后一次不正常的操作导致的后果,hadoop集群启动的时候,直接关闭了虚拟机,因此上网查找解决办法,但是大多数都是要格式化才能解决,这样的话,数据就全部丢失了。如何解决 既然问题已经找到了,最后一次的启动造成的,那么我们可以回退hadoop的版本,回到更早之前的版本,这样的话,丢失的数据就不会太多解决...原创 2021-12-07 00:09:58 · 1327 阅读 · 0 评论 -
azkaban上传zip文件报错:Installation Failed.MALFORMED
问题报错原因项目中所有的sh脚本文件没有进行转码工作解决办法在电脑空白位置右击(确保已经安装git)打开git bash here 然后 cd 到指定路径吗,输入以下命令find ./ -name "*.sh" | xargs dos2unix...原创 2021-11-28 12:45:11 · 1815 阅读 · 0 评论 -
azkaban执行任务出现Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job jobA, sleep for 60 secs
问题报错报错原因azkaban默认需要3G的内存,剩余内存不足则会报异常。解决办法配置azkaban-exec-server/plugins/jobtypes/commonprivate.properties文件memCheck.enabled=false原创 2021-11-24 20:15:47 · 652 阅读 · 0 评论 -
spark基于yarn运行报错:Required executor memory (1024 MB), offHeap memory (0) MB, overhead (384 MB), and Py
问题报错解决方法修改yran-site.xml文件<!-- 设置RM内存资源配置,两个参数 --><property> <description>The minimum allocation for every container request at the RM, in MBs. Memory requests lower than this won't take effect, and the speci.原创 2021-11-15 23:01:11 · 2275 阅读 · 0 评论 -
安装spark,运行时报错:Exception in thread “main“ java.lang.VerifyError: Uninitialized object exists on backw
问题报错原因这是由于安装的jdk版本太低造成的,因此只要升级jdk版本即可原先版本升级版本运行成功参考安装的是spark3.2版本升级到jdk1.8.0_141即可原创 2021-11-15 18:55:34 · 2237 阅读 · 0 评论 -
class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface org.apache.hadoop.h
报错:yarn运行自定义的mapreducer任务时报错原因:可能是打包的jar中携带的第三方hadoop的jar包与运行mapreducer的集群中的hadoop环境的jar包发生版本冲突解决办法:在IDEA导出jar包之前,将依赖包中所有hadoop-hdfs-***.jar包删除...原创 2021-11-01 18:08:13 · 2008 阅读 · 0 评论 -
hive语句在执行的过程中报Error: Error while processing statement: FAILED: Execution Error, return code 2 from o
使用命令查看详细的报错日志# 提高系统的日志级别,并在控制台输出hive --hiveconf hive.root.logger=DEBUG,console原因:JVM堆内存溢出了解决办法:在yarn-site.xml添加如下内容: <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>3072</value>.原创 2021-09-26 23:19:25 · 3116 阅读 · 0 评论 -
对于kafka java 生产者客户端发送数据,linux消费者客户端无法接收数据
首先,在linux端运行下列两个命令是可以正常发送和获取数据# 消费者kafka-console-consumer.sh --zookeeper hadoop101:2181 --topic test# 生产者kafka-console-producer.sh broker-list hadoop101:9092 --topic test 但是java通过kafka-client的API写的代码始终不能跟kafka通信:java producer的消息发不出去, java com..原创 2021-10-09 11:15:43 · 625 阅读 · 1 评论 -
Exception in thread “main“ org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after at
使用HBase API连接HBase集群时一直报错查看报错原因 :报错原因说是无法不知道hadoop102.hadoop.com这个域名其实这个信息,并不是Hbase的异常,而是客户端找不到zookeeper的解析地址,由于Hbase是通过hostname解析IP地址的(DNS),Zookeeper只会返回Hbase的域名,需要客户端通过DNS或本地hosts文件进行解析。本机无法解析hadoop102.hadoop.com这个域名,查看hosts果然...原创 2021-10-15 09:13:42 · 3815 阅读 · 0 评论 -
HBase报错:ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing解决方案
错误如图:解决方案:关闭hbasestop-hbase.sh进入zookeeper客户端bin/zkCli.sh删除hbasermr /hbase删除 hbase 在hdfs 的存储路径启动hbasestart-hbase.sh原创 2021-10-14 23:57:21 · 405 阅读 · 0 评论 -
Exception in thread “org.apache.hadoop.hive.metastore.metrics
问题启动hive时报错原因一般出现java.lang.NoSuchMethodError:这种错误,都是jar包冲突引起的仔细检查了以下,发现是hbase/lib中的metrics-core和hive中的metrics-core版本不一致解决方法同一版本即可,一般高版本兼容低版本,所以取两者的最高版本即可...原创 2021-10-18 22:04:05 · 733 阅读 · 1 评论 -
hadoop中的两个datanode节点的VERSION文件冲突,导致其中有一个datanode无法启动
问题分析本来是有三个datanode才对,所以有一个datanode丢失,查看丢失的datanode的log日志第一个报错:是datanode无法启动的报错日志第二个报错:是因为datanode丢失,数据无法上传的报错很奇怪的是,hadoop集群管理页面的live node为2,但是dead node节点为0,也就是没有节点死亡,按道理如果有一个datanode启动失败,那么Dead node 应该为1才对,那么出现这种问题恒可能是有两个datano...原创 2021-10-20 12:19:57 · 1316 阅读 · 0 评论 -
Please check the logs or run fsck in order to identify the missing blocks. See the Hadoop FAQ for co
问题提示有一个块文件丢失,因此报错解决办法自动修复hdfs元数据hadoop fsck -delete修复成功原创 2021-10-20 08:58:47 · 1603 阅读 · 1 评论 -
windows版本的winutils.exe和hadoop.dll作用
windows本地运行mr程序时(不提交到yarn,运行在jvm靠线程执行),hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常。原创 2021-10-16 21:39:57 · 661 阅读 · 0 评论