![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
shen_xy
都是好春光
展开
-
解决Hadoop伪分布式下,datanode无法启动的问题
问题:发现可视化界面中datanode的个数为0,是用jps命令查看时,发现DataNode没有启动,查看datanode的启动日志时,出现以后报错信息↓ 问题原因:由于频繁的是用-format命令,导致namenode的clusterID会重新生成,而datanode的clusterID 保持不变,两个clusterID不同,导致datanode无法启动。解决方式:找到日志中提示...原创 2018-11-20 21:40:14 · 935 阅读 · 0 评论 -
解决Hadoop伪分布式下,namenode无法启动的问题
启动Hadoop时,出现无法启动namenode的情况,查看日志后提示如下错误:Error: Gap in transactions. Expected to be able to read up until at least txid 6175405 but unable to find any edit logs containing txid 6175405java.io.IOExce...原创 2018-11-22 16:30:35 · 2815 阅读 · 1 评论 -
重新生成kerberos凭据的方法
上周在Hadoop服务器上安装了kerberos,默认配置全都没有进行更改,配置了对应用户的票据后均可以正常访问hdfs,但今天来了之后发现用户无法访问hdfs了,于是重新生成票据。通过CM将kerberos的ticker_lifetime改成了365天,但是担心万一仍然出现问题,于是将重新生成票据的方法进行记录,以免以后忘记。对root用户进行票据配置1、在root用户下执行命令:ki...原创 2019-04-24 11:14:42 · 2858 阅读 · 0 评论 -
解决pig在MapReduce模式下执行任务失败,提示Failed to read data的问题
在运行pig的pig -x mapreduce 时,总是在load的时候失败,提示Failed to read data from “hdfs://ip:port/XXXX”↓尝试了很多办法都没有成功,比如更改pig的版本、修改文件的权限等等,查了很多网站都没有解决方法。后来无意间发现了yarn日志里有这么一句话:↓处于好奇,查了一下这句话意味着什么,有人说yarn中对用户有白...原创 2019-04-25 11:48:54 · 2619 阅读 · 0 评论