Liunx搭建Hadoop集群,找不到NameNode问题分析,以及解决. (hadoop-2.7.4版本,没有进行jre进行重新修改源码)

最新推荐文章于 2024-04-24 09:45:00 发布
最新推荐文章于 2024-04-24 09:45:00 发布
阅读量2k 收藏
点赞数
分类专栏： linux 搭建Hadoop踩到的坑. 文章标签： Java Hadoop 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mister_Wei/article/details/82819830
版权

此文章针对 搭建Hadoop集群搭建之后输入指令找不到NameNode就会非常尴尬,好不容易搭建的集群,最后还是不成功,此时分析步骤;
一: 检查当前日志文件输出log日志是否正常,如果NameNote都没有肯定是报错的.
二: 最大的一部分可能就是踩坑了,这个坑非常好踩.
1.1: 查看当前配置文件,是否正常,以及关联的子服务器,配置是否一样.
1.2: 查看保存文件的路径,也就是如图所示,是否有此文件夹(注意不能mkdir创建文件夹,Hadoop会根据你指定的文件目录,自动生成文件夹,此时如果你创建就会 existfileexcption) 所以给一个虚拟路径,不用管,根据图中内容所示.在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

mister_Wei
关注
专栏目录
伪分布式下hadoop名称节点进程消失的问题
qq_45716068的博客
09-01 918
Hadoop学习-伪分布式下NameNode节点莫名其妙丢失**引言**排查猜测原因 引言 时隔一个暑假没有打开虚拟机，今天心血来潮（过几天上上课就要用到）想打开看看，使用start-all.sh命令启动hadoop进程，在使用jps命令之后发现缺少了关于名称节点namenode的进程（如下图所示）。 排查 在配置hadoop过程中，我记得需要为伪分布式的节点配置（我这里为node1）本地ip地址，于是使用ifconfig命令查看虚拟机的ip，发现当前ip地址为192.168.234.129 然后再使用
Hadoop 启动namenode节点失败
qq_30164101的博客
09-26 3979
问题产生        运行下面的命令启动namenode，jps命令查看namenode发现没有启动。查看生成的日志文件发现有如下的警告信息 [root@localhost hadoop-2.8.5]# sbin/hadoop-daemon.sh start namenode starting secondarynamenode, logging to /opt/modules/hado...
Hadoop-伪分布式少了namenode
金鳞踏雨
04-17 1580
初学者一枚，好久没有上VM——Ubuntu了，今天使用了start-all.sh竟然少了namenode！！！之前都是有的。 本人试过了网上的很多办法，都是不行： （1）我检查了所有文件都配置，进行hdfs namenode -format 是对namenode进行初始化也成功了，但是在启动HDFS（start-dfs.sh）就是没有反应。 等等...... 后来可能想到了是ip和主机之...
linux 查看namenode进程是否存活：返回namenode进程个数
学亮编程手记
06-08 765
返回namenode进程个数，为1表示存活： ps -ef | grep "namenode" | grep -v "grep" | wc -l
Hadoop格式化namenode出错
最新发布
2301_77836489的博客
04-24 793
Hadoop格式化namenode出错
hadoop-3.3.4 版本（最新版）
12-14
Apache Hadoop （hadoop-3.3.4.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！ Hadoop 架构是一个开源的、基于 Java 的编程...
hadoop-2.7.1.tar.gz.zip
11-06
这个名为“hadoop-2.7.1.tar.gz.zip”的文件包含了Hadoop的2.7.1版本，这是一个非常重要的里程碑，因为它包含了对Hadoop生态系统的许多改进和修复。 首先，我们要明白文件的结构。这是一个压缩文件，最外层是.zip...
Hadoop2.7.2LIUNX集群(2)所需JDK1.8.gz
07-10
Hadoop2.7.2LIUNX集群(2)所需JDK1.8.gzHadoop2.7.2LIUNX集群(2)所需JDK1.8.gzHadoop2.7.2LIUNX集群(2)所需JDK1.8.gzHadoop2.7.2LIUNX集群(2)所需JDK1.8.gz
Hadoop2.7.2LIUNX集群(1)所需hadoop.gz.rar
07-10
总的来说，Hadoop 2.7.2在Linux集群中的部署涉及到多个步骤，包括环境准备、配置文件修改、服务启动以及测试验证。这个过程既需要对Hadoop框架有深入理解，又需要熟悉Linux系统和网络配置。通过实践，你不仅可以掌握...
Hadoop2.7.2LIUNX集群(5)集群hdfs-over-ftp重构2.7.2，直接使用
07-18
5. **格式化NameNode**：首次启动Hadoop集群前，需要对NameNode进行格式化，这会初始化HDFS的元数据。 6. **启动Hadoop服务**：启动NameNode、DataNode、ResourceManager、NodeManager等服务，确保集群正常运行。 ...
Hadoop启动没有namenode进程
weixin_33701294的博客
03-19 5941
Hadoop问题：启动hadoop时报namenode未初始化：java.io.IOException: NameNode is not formatted.1、启动Hadoopubuntu@ubuntu:~/hadoop-1.0.4/bin$./start-all.sh startingnamenode,loggingto/home/ubuntu/hadoop-...
hadoop启动后没有namenode
热门推荐
linjixia的博客
03-25 1万+
参考教程： 教程1 （我按照教程1成功了。） 教程2 教程3 前提： 使用命令： cd $HADOOP_HOME ./sbin/start-dfs.sh jps 后发现没有namenode： 解决： 关闭进程： stop-dfs.sh 格式化： hadoop namenode -format 再次打开： start-dfs.sh 再次验证： jps ...
Hadoop--万恶NameNode各种起不来！！！
樱桃气质丸的博客
03-20 2501
一下↓ 是对NameNode结点一些常见问题这里用到启动Hadoop集群的脚本：myhadoop.sh start 和查看进程脚本：jpsall (后面会写一篇关于脚本的文章)先看Hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop（每个人可能路径不同），查看这个目录下的core-site.xml 、 yarn-site.xml 、 hdfs-site.xml 、mapred-site.xml 、 workers仔细阅读配置文件，字母、括号都不要错过！！！！
【解决】启动hadoop后，没有namenode
weixin_46626971的博客
03-20 834
最好，重新启动hadoop。首先，关闭hadoop。
Hadoop的NameNode
zhoudado921的博客
11-07 726
1、NameNode Metadata 2、NameNode介绍 (1)是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。 （2）文件包括： fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。 edits:操作日志文件。 fstime:保存最近一次checkpoint的时间。 以上这些文件是保存...
Windows下hadoop环境搭建之NameNode启动报错
北桥苏的博客
02-16 5692
前言： 因为平时工作和日常接触到的大都是的中型项目，所以少有个性化推荐等涉及大数据的功能。但是后期应该也会在自己项目中添加信息推荐模块，所以就开始关注spark，hadoop，Thrift等工具，以下就以hadoop先开始，包括环境搭建和配置过程中踩坑过程。 关于hadoop的环境搭建，网上也有各种各样的教程。拿来直接按着他们的方法来，前期当前问题不大，但是呢，可能在安装过程中由于每个工具的版本不一致。又或者配置中文件路径不一样等等都很可能导致踩坑无数。不管是开发调测bu...
解决hadoop启动后没有namenode节点问题（三）
web13985085406的博客
03-30 6466
前景回顾：上一篇文章中我们安装配置完hadoop后启动发现没有namenode节点，而且无法访问对应网站，该篇中将解决上篇的问题 针对前篇没有namenode节点解决方案： 先关闭hadoop：sbin/./stop-all.sh 删除文件夹 （hadoop2.7.3/下）的tmp/文件夹里边所有的东西 删除日志 ： 删除 logs文件夹下所有的东西： rm -rf logs/ mkdir logs 重新格式化：bin/hadoop namenode -format 格式化完成启动had
学习中遇到的bug之hadoop安装后找不到namenode
weixin_49492180的博客
11-14 1281
hadoop2.7.7安装后启动后没有namenode节点，报错Unresolved address 问题如下 安装就绪后无法找到namenode节点，尝试过格式化hadoop namenode -format 无效，查看报错日志显示 java.net.SocketException: Unresolved address at sun.nio.ch.Net.translateToSocketException(Net.java:130) at sun.nio.ch.Net.translateExce
Linux之Hadoop2.7.4集群搭建
Douglas的博客
09-06 717
Hadoop2.7.4集群搭建 一、集群架构 简介：本hadoop集群采用了2namenode，3datanode的数据分布，各服务器具体运行进程见下表 注释：各服务的说明如下 NameNode：负责请求的分发，两个namenode做主备 DataNode：负责数据的存储 DFSZKFailoverController：负责namenode主节点的选取 JournalNode：负责namenode主节点的数据同步 ResourceManager：负责数据节点管理 NodeManager：被管理节点 二
liunx Hadoop 集群运行Hadoo.jar代码中主类名为WordCountMain的代码格式
03-31
WordCountMain的代码格式与Java编程规范无异，以下是一个示例： ```java import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCountMain { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCountMain.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 在这个示例代码中，我们定义了两个类：TokenizerMapper和IntSumReducer。TokenizerMapper是一个Mapper类，用于将输入文件中的数据拆分成单词，并将单词作为key，将数字1作为value输出。IntSumReducer是一个Reducer类，用于将相同的单词合并，并将它们的数量相加，输出最终结果。 在main函数中，我们设置了MapReduce作业的各种参数，包括输入路径、输出路径、Mapper和Reducer类等。最后，我们使用System.exit来退出程序，并将MapReduce作业的状态作为参数传递给它。如果作业成功完成，返回0；否则，返回1。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值