![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Bug记录
大数据左右手
大数据公众号:大数据左右手
Python公众号:Python王哪去
展开
-
看似简单的SQL,实则就是简单
加班使人头疼,头脑不灵光原创 2024-03-25 20:27:46 · 794 阅读 · 0 评论 -
HDFS block丢失过多进入安全模式(safe mode)的解决方法
HDFS block丢失过多进入安全模式(safe mode)的解决方法原创 2021-03-23 16:15:42 · 1696 阅读 · 2 评论 -
java中有scala代码,scala中有java代码,解决maven打包打不上的问题
java中有scala代码,scala中有java代码,解决maven打包打不上的问题原创 2021-03-12 13:48:13 · 501 阅读 · 0 评论 -
namenode由于jn写入超时异常
namenode由于jn写入超时异常原创 2021-02-05 13:16:42 · 220 阅读 · 0 评论 -
hive drop table 一直卡着不动错误记录
hive drop table 一直卡着不动错误记录原创 2021-02-05 13:14:35 · 360 阅读 · 1 评论 -
Datax MySql字段关于date类型的入kafka时间不一致问题
Datax MySql字段关于date类型的入kafka时间不一致问题原创 2021-02-05 13:12:20 · 1023 阅读 · 0 评论 -
mysql+canal启动报错
Could not find first log file name in binary log index file原创 2021-02-05 13:10:11 · 802 阅读 · 0 评论 -
namenode不能启动
删出journode jn目录和namenode的目录,格式化namenode,其余namenode节点执行同步命令后再启动namenode1)在各个JournalNode节点上,输入以下命令启动JournalNode服务sbin/hadoop-daemon.sh start journalnode2)在[nn1]上,对其进行格式化,并启动bin/hdfs namenode -formatsbin/hadoop-daemon.sh start namenode3)在[nn2]上,同步nn1原创 2021-02-05 11:54:59 · 229 阅读 · 0 评论 -
datanode 不能启动
问题描述:当我们多次格式化文件系统(hadoop namenode -format)时,会出现DataNode无法启动。多次启动中发现有NameNode节点,并没有DataNode节点出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。解决办法:根据日志中的路径,cd /home/hadoop/tmp/dfs原创 2021-02-05 11:52:05 · 3090 阅读 · 0 评论 -
namenode不能故障转移
配置了namenode故障自动切换,但kill掉active后,standby并不能切换,只有当复活kill掉的namenode后,standby才会切换为active。经过查看zkfc日志和journode日志,发现是不能创建ssh连接。判断原因可能是:centos8 高版本的OpenSSH 解析不了当前版的密钥,所以配置修改如下:<property> <name>dfs.ha.fencing.methods</name> <value>she原创 2021-02-05 11:50:16 · 203 阅读 · 0 评论 -
Hive on spark 执行加载不了spark的jars
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException原创 2021-02-05 11:48:01 · 412 阅读 · 0 评论 -
centos7中文编码问题
centos7中文编码问题原创 2021-02-05 11:40:31 · 206 阅读 · 0 评论