![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
errorRecoder
尘客.
大数据开发攻城狮
展开
-
mysqld: File ‘./binlog.index‘ not found (OS errno 13 - Permission denied) 问题解决
Centos7 安装Mysql 8后启动时遇到的问题,看了好几个博客方案无效,搞了半小时才找到正解,在此次进行记录。原创 2023-10-20 14:58:28 · 2757 阅读 · 0 评论 -
连接本地CentOS集群失败
Idea使用Spark Sql读取集群Hive表失败,报错显示无服务器无响应(`Can not read response from server. Expected to read 4 bytes, read 0 bytes before connection was unexpectedly lost`),同时SecureCRT也无法连接上集群节点。原创 2022-06-25 13:11:23 · 898 阅读 · 0 评论 -
编译Apache Tez 0.10.2 时报错:XXX.MojoExecutionException: ‘protoc --version‘ did not return a version
[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:3.2.2:protoc (compile-protoc) on project tez-api: org.apache.maven.plugin.MojoExecutionException: 'protoc --version' did not return a version -> [Help 1]原创 2021-12-02 22:31:49 · 1427 阅读 · 0 评论 -
编译Atlas 2.2.0 时报错:org.apache.atlas:atlas-buildtools:jar:1.0 was not found (已解决)
如题,这个atlas-buildtools 1.0版本依赖在aliyun、repo1、repo2等多个仓库都没找到,于是报错如下一时没有找到哪个仓库有1.0版本依赖,不过0.8.1版本在中央仓库是有的懒得找了,修改源码pom.xml里面atlas-buildtools的版本为0.8.1吧。重新编译,问题解决,美滋滋...原创 2021-11-15 21:12:05 · 2623 阅读 · 5 评论 -
启动Solr 8.10 后访问UI报错:CoreContainer is either not initialized or shutting down.
以cloud模式配置安装好Solr 8.10.1 启动后,在访问默认8983端口或使用solr status查看状态时报如下错误URI:/solr/ STATUS:404 MESSAGE:javax.servlet.UnavailableException: Error processing the request. CoreContainer is either not initialized or shutting down. SERVLET:default CAUSED BY:ja原创 2021-11-06 18:11:57 · 3869 阅读 · 6 评论 -
运行maven生成的jar包显示class “XXX“ not found
背景:在idea下生成jar包,发现jar包大小仅有1.8KB,如下实行jar包时报错如下org.apache.flink.client.program.ProgramInvocationException: The program's entry point class 'ecnu.day01.WordCount' was not found in the jar file.直接打开j...原创 2019-11-25 17:03:43 · 4999 阅读 · 3 评论 -
Exception encountered during context initialization - cancelling refresh attempt:org.springframework
我这里是在springboot子模块里发生的错误,如下Exception encountered during context initialization - cancelling refresh attempt: org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with...原创 2019-11-13 17:14:16 · 11517 阅读 · 2 评论 -
springboot log4j日志配置失效问题解决
背景:在springboot项目下明明配置了自己需要的日志打印方式,但就是不生效。。。原因很多。我这里是因为springboot自带logging导致的,在此情况下不会去读取自己在resources上配置的log4j文件;加入如下依赖配置排除springboot自带依赖。问题解决。 <dependency> <groupId>org.spring...原创 2019-11-12 19:45:25 · 5239 阅读 · 0 评论 -
No active profile set, falling back to default profiles: default
构建springboot项目启动时出现的问题,正常启动之后应该是阻塞状态的,但这里直接就是程序结束返回码为0了,有时候就给人不知所云的感觉。也是后面服务请求对接时出现refuse connect才发现springboot项目压根就没启动成功。测试环境截图如下:关键信息:No active profile set, falling back to default profiles: defa...原创 2019-11-11 14:40:54 · 3595 阅读 · 0 评论 -
secureCRT获取redis数据时显示为unicode编码问题
背景:在使用Jedis工具写数据到远程redis数据库,而后通过secureCRT采用redis客户端获取数据时,显示为unicode编码。这里显示为unicode的部分是中文字符。如下:还以为是连接窗口编码问题,如果是编码问题那应该是直接就是乱吗了呀,而且utf8编码是默认的连接窗口标配吧。查看当前窗口设置确实是utf8编码。网上查资料说是要在连接时末尾加上--raw参数。如下: bin...原创 2019-11-06 20:32:25 · 556 阅读 · 0 评论 -
FATAL CONFIG FILE ERROR :Bad directive or wrong number of arguments
错误演示截图(此处为启动redis-server中的错误演示)这种错误一般出现在初学者身上,原因是在一些配置文件中(如此处为见得比较多的.conf文件)不允许在相同有效代码行后添加注释,其会把后面的注释当成当前行命令传入参数去编译执行;而该命令配置没有参数传入或传入的参数格式错误自然就报错了。如图:改成注释放在单独一行问题解决...原创 2019-08-16 08:44:44 · 29429 阅读 · 0 评论 -
记一次hadoop namenode 启动失败问题及解决过程(启动几秒钟后又挂了)
这是个小问题,但如果新手接触的话可能会花费一番时间才能解决,甚至会不知所措。在此重点记录的还是解决问题的方式。**问题描述:**在自己虚拟机上新安装了hadoop。在做单节点启动测试时发现namenode启动几秒钟后又挂了,datanode还是好好的。难不成是资源问题?敲入free -h、top查看了一下节点资源使用情况,没问题呀。尝试着又重启一下namenode,嗯,几秒后又挂了。居然感到很...原创 2019-08-19 15:20:36 · 6081 阅读 · 1 评论 -
RSA host key for chdp03 has changed and you have requested strict checking.
本地有三台虚拟集群,在配置chdp01到chdp02的免密后,从chdp02进行克隆得到chdp03。在配置chdp01到chdp03的免密时发生如下错误:(而后在chdp01/chdp02尝试ssh登录chdp03报同样错误)参考这位大佬博客:https://blog.csdn.net/github_38236333/article/details/78335903如下:克隆同理解决因...原创 2019-08-19 18:47:12 · 193 阅读 · 0 评论 -
集群环境下启动yarn时成功启动了nodemanager,但未成功启动resourcemanager
在使用批量启动命令start-yarn.sh启动yarn集群时出错,查看日志发现如下错误:Caused by: java.net.BindException: Problem binding to [chdp02:8031] java.net.BindException: 无法指定被请求的地址; For more details see: http://wiki.apache.org/had...原创 2019-08-19 21:41:22 · 6418 阅读 · 0 评论 -
Offending key for IP in /root/.ssh/known_hosts:1 Matching host key in /root/.ssh/known_hosts:6
在使用ssh配置免密时碰到的问题。记得之前在配置免密时也遇到另一个问题:RSA host key for chdp03 has changed and you have requested strict checking.问题描述:已在chdp01配置了到chdp02,chdp03的免密。目前要在chdp02上配置到chdp01、chdp02(相关任务启动需要)、chdp03的免密,在chd...原创 2019-08-20 11:44:55 · 3785 阅读 · 0 评论 -
Host key verification failed.集群启动问题解决
在nodemanager与resourcemanager分离的情况下,自己写脚本实现start-all时若未配置对应ssh免密将会出现这个错误。原创 2019-08-20 21:27:11 · 4129 阅读 · 1 评论 -
hdfs集群节点间数据副本同步失败问题
实验环境:有三台节点chdp11、chdp12、chdp13,三台节点均担任有dataNode角色。此外,chdp11担任nameNode,chdp12担任secondaryNamNode。hadoop版本为:hadoop2.7。问题描述:在sts客户端上传一份数据到hdfs集群上,在上传文件后获取上传数据信息时显示有三个副本(在此配置了dfs.replication=3),但在获取Bloc...原创 2019-08-21 19:40:07 · 1345 阅读 · 2 评论 -
No FileSystem for scheme: C
再写mapJoin添加缓存文件时出现如下异常:Exception in thread "main" java.io.IOException: No FileSystem for scheme: C at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2644) at org.apache.hadoop.f...原创 2019-08-29 09:18:45 · 1847 阅读 · 0 评论 -
记虚拟机启动黑屏背后挖出的各种问题
环境描述:在vmware12上搭建安装了centos6.8。时常出现莫名的黑屏问题,在vmware上尝试关闭启动失败的虚拟机vmware还提示虚拟机正忙。problems遇到了好几种错误组合连环阻遏,为了以后可以愉快的解决黑屏问题,在此对几种报错进行记录,以便在今后的工作学习中进行回顾思考。1、 无法以独占方式启动虚拟机(后台误判的假启动)之前用的比较多的是使用netsh winsock...原创 2019-08-23 20:27:36 · 1629 阅读 · 0 评论 -
MapReduce运算下FSDataOutputStream类对象使用writeUTF写出字符串到文件时每行首出现非预期字符
演示代码简要如下:fs=FileSystem.get(job.getConfiguration());FSDataOutputStream finf=fs.create(Path);finf.writeUTF(String);输出结果截图:复制内容到记事本显示如下:有点像控制字符,反正看不懂,并且原始数据也没有这些东西,那可能就是IO写入的问题了。查看writeUTF源码发现如...原创 2019-08-29 14:38:44 · 435 阅读 · 0 评论 -
[myid:] - ERROR [main:QuorumPeerMain@88] - Invalid config, exiting abnormally:/myid file is missing
在启动zookeeper集群时发现没启动成功,查看日志发现如下报错:2019-08-31 09:18:14,407 [myid:] - ERROR [main:QuorumPeerMain@88] - Invalid config, exiting abnormallyorg.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigExcep...原创 2019-08-31 11:22:07 · 7209 阅读 · 2 评论 -
kafka生产者端dns配置与集群端配置不一致问题:java.io.IOException: Can't resolve address: chdp11:9092
背景描述:在虚拟机集群上搭建了zk、kafka(version:0.11)集群,在控制台上测试生产消费时正常。而后在windows端使用java api向虚拟机消费端生产发送数据,发现程序正常运行起来过了大概十秒后结束( exit code 0),但在虚拟机开启的消费者端并没有收到数据。经过几次检查,确保通信没问题,在java api端给未创建的topic发送数据时还可以发现在kafka集群端主...原创 2019-09-17 19:29:43 · 3789 阅读 · 3 评论 -
Expected timestamp in the Flume event headers, but it was null:搭建flume多路复用写数据到hdfs时所遇问题与解决
在进行本机实践时遇到的错误具体见这篇博客:flume复制和多路复用简单示例(监控日志文件对接hdfs、kafka、本地文件系统)错误如下:19/09/17 03:59:34 ERROR hdfs.HDFSEventSink: process failedjava.lang.NullPointerException: Expected timestamp in the Flume event ...原创 2019-09-19 15:17:48 · 1909 阅读 · 1 评论 -
master.HMaster:Failed to become active master java.io.IOException: error or interrupted while split
在自己的机器上操作的,之前因为网络出问题强行关闭虚拟机。再次开启时发现HMaster进程启动不了(HRegionServer正常启动,而HMaster启动几秒后挂了),查看日志发现如下:2019-09-20 20:32:05,519 INFO [main-EventThread] coordination.SplitLogManagerCoordination: task /hbase/spl...原创 2019-09-20 21:33:05 · 5358 阅读 · 5 评论 -
sqoop export导出数据时出错, Can't export data, please check failed map task log...NoSuchElementException
错误场景:(pc学习环境下场景还原)在使用sqoop从hive外部表导出数据到mysql时出的错,脚本代码如下: /usr/SFT/sqoop-1.4.6/bin/sqoop export \--connect jdbc:mysql://chdp11:3306/test \--username root \--password root \--table stu \--num-map...原创 2019-09-25 19:22:24 · 5785 阅读 · 0 评论 -
ERROR sqoop.Sqoop: Error while expanding arguments
错误场景:使用sqoop --options-file脚本打包执行时出现的错误。错误截取如下:19/09/22 01:35:04 ERROR sqoop.Sqoop: Error while expanding argumentsjava.lang.Exception: Malformed option in options file(sq_expToMysql.opt): export ...原创 2019-09-25 19:30:36 · 1329 阅读 · 1 评论 -
vmware12 在win10自动组件更新后无法打开问题解决方法
早上点击vmware发现无响应,以为是快捷方式出了问题,打开链接原文件后才发现是真的打不开了。记得前一天关机时windows有一个自动更新,应该是更新了补丁也就没在意,就让他安装更新吧。然后今天早上打开vmware的时候发现打不开了(点击打开无响应),看来是更新补丁兼容性问题。这里用的是windows10(1903)、vmware(12 pro)。打开设置-》安全与更新-》卸载更新-》卸载最近导...原创 2019-10-11 17:16:06 · 1555 阅读 · 0 评论