在Hadoop设置中输入jps没有出现namenode和datanode

原因:

可能是多次格式化NameNode后未删除相关文件,需要检查在hadoop中查看hdfs-site.xml和core-site.xml配置文件,确认其中的相关配置项是否正确设置,查看目录路径,然后删除相关文件。

解决:

一.查看并删除hdfs-site.xml文件

使用vi查看文件hdfs-site.xml。

f8fe9b631f244c5b85470695f86968b0.jpg

 可以看到name和data文件的路径。

e196e0b721974f20974287b19805af03.jpg

进入该路径可以看到这两个文件,删除name和data文件。

1a67cec8a67d416faed84409c15ebba5.jpg

二.查看并删除core-site.xml文件

使用vi查看core-site.xml文件。

9353d13d7f2a490b95c9a5f72c0766ac.jpg

可以看到tmp文件的路径。

c39b87b4787e4fde9505810927f5cc69.jpg

进入该路径可以看到这两个文件,删除nm-local-dir和dfs文件。

ecce8ebea6784aef9996cb09bc12989d.jpg

三.格式化和启动

1.初始化

输入hdfs namenode -format重新进行格式化。

7c065656135548378cd09f979e8c16b6.jpg

2.启动测试

输入start-all.sh启动文件。

3ac15bd9660b4d04bbe03ec4665fcb89.jpg

输入jps后可以看到出现namenode和datanode。

9dd1f7b3543e4f3e8d8e21d063f03dca.jpg

  • 9
    点赞
  • 37
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
⼤数据⾯试题,唬住50k 1. 选择题 1. 下⾯哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案 C datanode 1. 1. HDfS 的 block 默认保存⼏份? a)3 份 b)2 份 c)1 份 d)不确定 答案 A 默认 3 份 1. 1. 下列哪个程序通常与NameNode在⼀个节点启动? a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 答案 D 1. 1. HDFS 默认 Block Size a)32MB b)64MB c)128MB 答案:B 1. 1. 下列哪项通常是集群的最主要瓶颈 a)CPU b)⽹络 c)磁盘 IO d)内存 答案:C 磁盘 ⾸先集群的⽬的是为了节省成本,⽤廉价的 pc 机,取代⼩型机及⼤型机。⼩型机和⼤型机有什么特点? 1.cpu 处理能⼒强 2.内存够⼤,所以集群的瓶颈不可能是 a 和 d 3.如果是互联⽹有瓶颈,可以让集群搭建内⽹。每次写⼊数据都要通过⽹络(集群是内⽹),然后还要写⼊ 3 份数据,所以 IO 就会打折 扣。 1. 1. 关于 SecondaryNameNode 哪项是正确的? a)它是 NameNode 的热备 b)它对内存没有要求 c)它的⽬的是帮助 NameNode 合并编辑⽇志,减少 NameNode 启动时间 d)SecondaryNameNode 应与 NameNode 部署到⼀个节点 答案 C。 1. 1. 下列哪项可以作为集群的管理? a)Puppet b)Pdsh c)Cloudera Manager d)Zookeeper 答案 ABD 具体可查看什么是 Zookeeper,Zookeeper 的作⽤是什么,在 Hadoop 及 hbase 具体作⽤是什么。 1. 1. Client 端上传⽂件的时候下列哪项正确 a)数据经过 NameNode 传递给 DataNode b)Client 端将⽂件切分为 Block,依次上传 c)Client 只上传数据到⼀台 DataNode,然后由 NameNode 负责 Block 复制⼯作 答案 B 分析:Client 向 NameNode 发起⽂件写⼊的请求。NameNode 根据⽂件⼤⼩和⽂件块配置情况,返回给 Client 它所管理部分 DataNode 的信息。Client 将⽂件划分为多个 Block,根据 DataNode 的地址信息,按顺序写⼊到每⼀个DataNode。具体查看HDFS 体系结构 简介及优缺点。 1. 1. 下列哪个是 Hadoop 运⾏的模式 a)单机版 b)伪分布式 c)分布式 答案 ABC 单机版,伪分布式只是学习⽤的。 1. ⾯试题 1. Hadoop的核⼼配置是什么? Hadoop的核⼼配置通过两个xml⽂件来完成:1,hadoop-default.xml;2,hadoop-site.xml。这些⽂件都使⽤xml格式,因此每个xml 都有⼀些属性,包括名称和值,但是当下这些⽂件都已不复存在。 1. 1. 那当下⼜该如何配置? Hadoop现在拥有3个配置⽂件:1,core-site.xml;2,hdfs-site.xml;3,mapred-site.xml。这些⽂件都保存在conf/⼦⽬录下。 1. 1. "jps"命令的⽤处? 这个命令可以检查NamenodeDatanode、Task Tracker、 Job Tracker是否正常⼯作。 1. 1. mapreduce的原理? 1. 1. HDFS存储的机制? 1. hdfs写流程 流程: 1. client链接namenode存数据 2. namenode记录⼀条数据位置信息(元数据),告诉client存哪。 3. client⽤hdfs的api将数据块(默认是64M)存储到datanode上。 4. datanode将数据⽔平备份。并且备份完将反馈client。 5. client通知namenode存储块完毕。 6. namenode将元数据同步到内存。 7. 另⼀块循环上⾯的过程。 1. 1. 读流程 流程: 1. client链接namenode,查看元数据,找到数据的存储位置。 2. client通过hdfs的api并发读取数据。 3. 关闭连接。 1. 举⼀个简单的例⼦说明mapreduce是怎么来运⾏的 ? wordcount的例⼦ 1. 1. ⽤mapreduce来实现下⾯需求? 现在有10个⽂件夹,每个⽂件夹都有1000000个url.现在让你找出top1000000url

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值