错误积累
总结个各种错误
Alienware^
喜欢专研Java,Scala,Python,数据库,以及大数据框架系列知识。希望通过不断的学习,记录自己的点点滴滴。
展开
-
Permission denied: user=hive, access=EXECUTE, inode=“/tmp“:root:supergroup:drwxrwx---
在执行Hadoop的创建目录、写数据等情况,可能会出现该异常,而在读文件的时候却不会报错,这主要是由于系统的用户名不同导致的,由于我们进行实际开发的时候都是用Windows操作系统,而编译后的JAVA程序是部署在Linux上的。而Windows的用户名一般都是自定义的或者是administrator,Linux的用户名是root,对于Hadoop的部署,也有可能是hadoop用户名。Hive同步Hudi时发生如下错误,用方法即可同步成功!hdfs-site.xml中的权限检查改为false即可。原创 2023-01-11 22:24:27 · 1317 阅读 · 0 评论 -
Could not find artifact net.shibboleth.tool:xmlsectool:pom:2.0.0 in central
步骤1.修改maven的setting.xml文件。搜索框搜xmlsectool。步骤2.运行脚本安装jar包。一步一步点击如下网站。原创 2022-10-12 16:45:05 · 872 阅读 · 0 评论 -
控制台出现 logging only errors to the console. Set system property ‘log4j2.debug‘ to sh
错误:状态记录器没有找到log4j2配置文件,将使用默认配置:只将错误记录到控制台。加入log4j2.xml文件即可<?xml version="1.0" encoding="UTF-8"?><Configuration status="warn"> <Appenders> <Console name="Console" target="SYSTEM_OUT"> <PatternLayout pa.原创 2022-02-14 16:33:36 · 1796 阅读 · 0 评论 -
出现 ERROR StatusLogger Log4j2 could not find a logging implementation.
控制台出现 :ERROR StatusLogger Log4j2 could not find a logging implementation. Please add log4j-core to the classpath. Using SimpleLogger to log to the console…在pom.xml文件添加<dependency> <groupId>org.apache.logging.log4j</groupId> &l.原创 2022-02-12 11:16:54 · 18919 阅读 · 2 评论 -
JPS 进程出现 -- process information unavailable
进入tmp 目录,找到查看这里面的文件,有没有进程,依次删掉。注意:删文件而不是删掉目录。原创 2022-02-01 20:38:06 · 620 阅读 · 0 评论 -
RROR: Check hive‘s usability failed, please check the status of your cluster解决办法
kylin启动时遇到 ERROR: Check hive’s usability failed, please check the status of your cluster解决办法如下:1、检查/etc/profile.d/env.sh中HIVE_HOME是否有配置,配置后需要source一下2、bin/hive进入hive客户端,执行hive命令检查hive是否可用3、以上1、2都正确,则问题可能是hive执行时间过长超时,kylin中bin目录下的check-hive-usability...原创 2022-01-26 09:32:44 · 624 阅读 · 0 评论 -
org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark session
日志监控:java.util.concurrent.ExecutionException: java.util.concurrent.TimeoutException: Timed out waiting for client connection.解决:hive.spark.client.connect.timeout的默认值是1000ms,如果执行hive的insert语句时,抛如下异常,可以调大该参数到10000ms在hive的配置文件hive-site.xml中添加:<!--Hiv.原创 2022-01-24 23:04:33 · 757 阅读 · 0 评论 -
azkaban.jobExecutor.utils.process.ProcessFailureException: Process exited with code 64
24-01-2022 17:22:11 CST ods_to_dwd_log INFO - Starting job ods_to_dwd_log at 164301613151224-01-2022 17:22:11 CST ods_to_dwd_log INFO - job JVM args: '-Dazkaban.flowid=gmall' '-Dazkaban.execid=4' '-Dazkaban.jobid=ods_to_dwd_log'24-01-2022 17:22:11 CST o.原创 2022-01-24 17:43:10 · 1555 阅读 · 0 评论 -
azkaban.utils.UndefinedPropertyException: Missing required property ‘azkaban
24-01-2022 17:12:17 CST hdfs_to_ods_log INFO - Starting job hdfs_to_ods_log at 164301553779124-01-2022 17:12:17 CST hdfs_to_ods_log INFO - job JVM args: '-Dazkaban.flowid=gmall' '-Dazkaban.execid=3' '-Dazkaban.jobid=hdfs_to_ods_log'24-01-2022 17:12:17 C.原创 2022-01-24 17:21:26 · 1630 阅读 · 0 评论 -
-bash: ./hdfs_to_mysql.sh: /bin/bash^M: 坏的解释器: 没有那个文件或目录
写脚本出现个问题, 就是在Windows下编辑的脚本,放到Linux下会报错报错如下 :-bash: ./hdfs_to_mysql.sh: /bin/bash^M: 坏的解释器: 没有那个文件或目录-bash: ./hdfs_to_mysql.sh: /bin/bash^M: 坏的解释器: 没有那个文件或目录解决如下 :sed -i 's/\r$//' 文件名 比如刚刚执行 hdfs_to_mysql.sh 报错,那么解决方式就是 :sed -i 's/\r$//' hdfs_to_mysq原创 2022-01-24 13:28:04 · 1504 阅读 · 1 评论 -
电脑屏幕莫名其妙变成绿色
第一步:win + r 输入 regedit第二步,进入 HKEY_CURRENT_USER\Control Panel\Colors 中点击 Window,将Window里的值改成 255 255 255。第三步 :进入HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Themes\DefaultColors\Standard 在双击Window 将里面的值改成caeace最后重启电脑屏幕就会变成白色...原创 2021-12-12 10:52:16 · 4879 阅读 · 2 评论 -
DataGrip连接MySQL Server returns invalid timezone. Go to ‘Advanced‘ tab and set ‘serverTimezone‘ prope
mysql> show variables like'%time_zone';显示 SYSTEM 就是没有设置时区啦。mysql> set global time_zone = '+8:00';再测试,连接成功!原创 2021-11-18 22:30:29 · 649 阅读 · 0 评论 -
mysql 无法连接 Unable to load authentication plugin ‘caching_sha2_password‘
这个是因为,mysql8之前的版本使用的密码加密规则是mysql_native_password,但是在mysql8则是caching_sha2_password,所以需要修改密码加密规则。进入数据库终端mysql > use mysql这样是为了mysql 8 能在图形化页面 进行操作...原创 2021-11-18 11:26:01 · 786 阅读 · 0 评论 -
查看 nc 端口被占用并且杀掉
查看nc端口9999的占用情况[root@hadoop102 ~]# netstat -anp |grep 9999杀掉它[root@hadoop102 ~]# kill -9 3839再次查看原创 2021-11-16 13:56:37 · 1933 阅读 · 0 评论 -
上传 azkaban 出现报错信息
如上图所示格式异常,azkaban 中是用 yaml 文件读取的 ,应用yaml文件格式去编写注意:flow文件是yaml格式大小写敏感通过缩进来表达层次,严禁使用\t属性名:后面跟一个空格原创 2021-06-23 18:24:03 · 974 阅读 · 0 评论 -
failed to push some refs to
解决方案:可能是因为在git线上仓库中,手动删除了某个文件导致线上线下不同步,这种情况下需要先git pull --rebase origin master 拉取线上仓库,在使用git add ,git commit,git push建议不要git线上仓库手动删除文件,而是在线下文件夹中删除后再使用命令行提交。出现错误的主要原因是gitee(github)中的README.md文件不在本地代码目录中此时我们要执行git pull --rebase giteeorigin master命令README原创 2021-05-26 13:51:12 · 181 阅读 · 0 评论 -
java.lang.Exception: Unknown container. Container either has not started or
在hadoop平台运行任务出错,想查看日志,但是点击logs显示一段提示信息查阅资料后得知,是未开启historyserver服务,其默认关闭,是一个独立的服务,网页查看端口号默认:19888,可在yarn-site.xml中配置,配置完后将配置文件复制到其他节点上,同时注意,我指定的是newmaster地址,所以需要在newmaster机器上启动(你也可以指定其他地址,启动时必须是在指定的地址节点上)mapred-site.xml <property> <name&原创 2021-03-24 20:35:40 · 2110 阅读 · 0 评论 -
SSH 故障 开启集群总是输入密码 (Centos 7 )
开启Hadoop集群如下[luanhao@Bigdata00 hadoop]$ start-dfs.sh Starting namenodes on [Bigdata00]luanhao@bigdata00's password: Bigdata00: starting namenode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-luanhao-namenode-Bigdata00.outluanhao@bigdata00's passwor原创 2021-03-16 12:18:19 · 567 阅读 · 0 评论 -
E505: “ifcfg-ens33“ is read-only (add ! to override)
编辑网络时出现如下错误解决方案:1):先退出2):进入root用户下3):重新编辑4):保存并退出此时成功原创 2021-02-05 20:58:05 · 2885 阅读 · 0 评论 -
Hadoop伪分步式:Bigdata: Error: JAVA_HOME is not set and could not be found.
初次配置好Hadoop伪分布式式之后,启动./sbin/start-all.sh 命令发现进程启动失败, 如下图所示jps 命令查看进程 发现namenode datanode 均没有启动 提示 JAVA_HOME is not set and could not be found解决方法,进入hadoop 下的etc/hadoop目录,进入hadoop-env.sh 文件中将JAVA_HOME = ${JAVA_HOME} 改成(改成自己的JDK路径)再次启动hadoop可以看到已原创 2021-02-04 17:32:14 · 640 阅读 · 0 评论 -
error: failed to push some refs to ‘https://gitee.com/luan_hao/flink-project---risk-control.git‘
本地库放远程库发现一处错误error: failed to push some refs to ‘https://gitee.com/luan_hao/flink-project—risk-control.git’出现错误的主要原因是gitee中的README.md文件不在本地代码目录中此时我们要执行git pull --rebase origin master命令README.md拉到本地,然后执行git push origin master此时成功...原创 2021-01-24 23:13:21 · 228 阅读 · 0 评论 -
Error while executing topic command : replication factor: 2 larger than available brokers: 1
输入创建kafka的topic命令之后,发现报错如下,经排查是因为自己的kafka只有一台,所以只能有一个副本[root@Bigdata kafka]# bin/kafka-topics.sh --zookeeper Bigdata:2181 --create --replication-factor 3 --partitions 1 --topic inputError while executing topic command : replication factor: 3 larger than原创 2020-12-14 15:24:06 · 1233 阅读 · 0 评论 -
warning: MySQL-server-5.5.48-1.linux2.6.i386.rpm: Header V3 DSA/SHA1 Signatu
CentOS rpm安装Mysql时出现这样的错误:warning: MySQL-server-5.5.48-1.linux2.6.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEYerror: Failed dependencies:/usr/bin/perl is needed by MySQL-server-5.5.481.linux2.6.x86_64原因:这是由于yum安装了旧版本的GPG keys造成的解决办原创 2020-10-20 17:05:42 · 821 阅读 · 0 评论 -
启动hive出现 ls: 无法访问/opt/module/spark/lib/spark-assembly-*.jar: 没有那个文件或目录
启动hive的时候出现如下错误[root@Bigdata01 bin]# hivels: 无法访问/opt/module/spark/lib/spark-assembly-*.jar: 没有那个文件或目录20/09/03 20:29:03 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not existLogging initialized using configuration in jar:file:/opt/mo原创 2020-09-06 08:50:41 · 2766 阅读 · 2 评论 -
Kafka的 No kafka server to stop报错处理
使用kafka-server-stop.sh命令关闭kafka服务,发现无法删除,报错如下图No kafka server to stop下面修改kafka-server-stop.sh将PIDS=$(ps ax | grep -i 'kafka\.Kafka' | grep java | grep -v grep | awk '{print $1}')修改为PIDS=$(jps -lm | grep -i 'kafka.Kafka'| awk '{print $1}')命令详解:使用jp原创 2020-08-20 21:12:44 · 688 阅读 · 0 评论 -
redis配置RDB持久化之后再配置AOF持久化时数据丢失问题
当配置RDB持久化时还有数据,再配置AOF持久化时发现数据丢失,如下图查看日志时发现翻译过来的意思是:overcommit_memory被设置为0!在内存不足的情况下,后台保存可能会失败。要解决这个问题,添加’vm。overcommit_memory = 1’到/etc/sysctl.conf,然后重新启动或运行命令’sysctl vm。overcommit_memory=1’使其生效。来到了etc下发现并没有overcommit_memory=1此时vim /etc/sysctl.conf原创 2020-07-27 15:22:54 · 734 阅读 · 3 评论 -
Linux安装Redis出现 :zmalloc.h:50:31: 致命错误:jemalloc/jemalloc.h:没有那个文件或目录
安装Redis过程中出现:zmalloc.h:50:31: 致命错误:jemalloc/jemalloc.h:没有那个文件或目录 这个错误解决方法:[root@hadoop106 redis-4.0.0]# ** make MALLOC=libc**将安装命令make install 变成 make MALLOC=libc 即可原创 2020-07-26 05:04:17 · 343 阅读 · 0 评论