hdfs 的namenode无法启动

在安装hadoop2.6.0的linux上

格式化hdfs文件系统 hadoop namenode -format

启动hdfs 和MapReduce守护进程(start-dfs.sh、start-yarn.sh)

开始在hdfs文件系统中进行操作

由于偶然原因,机器重启

当再次启动hdfs和mapreduce守护进程后,hdfs文件系统无法操作了

显示:(ls: Call From ubuntu/127.0.1.1 to localhost:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused)

jps命令显示namenode没有启动 

网上有些建议:格式化hdfs文件系统,虽然可以重新使用,但是之前操作的文件都没了

又在网上找了一下,说

    每次开机都得重新格式化一下namenode才可以

其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失

于是我们得重新配置一个tmp文件目录

首先在home目录下建立一个hadoop_tmp目录

sudo mkdir ~/hadoop_tmp

然后修改hadoop/conf目录里面的core-site.xml文件,加入以下节点:

<property>

<name>hadoop.tmp.dir</name>

<value>/home/chjzh/hadoop_tmp</value>

<description>A base for other temporary directories.</description>

</property>

注意:我的用户是chjzh所以目录是/home/chjzh/hadoop_tmp

OK了,重新格式化Namenode

hadoop namenode -format

然后启动hadoop

start-all.sh

执行下JPS命令就可以看到NameNode了

试了一下,果然可以


转载于:https://my.oschina.net/zhuzhiyun/blog/368137

### 回答1: "rolling upgrade" 是一种 HDFS 的升级方式,它允许在不停止整个系统的情况下升级到新版本。在开始 "rolling upgrade" 操作之后,NameNode 会开始处理升级请求。这意味着 NameNode 将会接受新的数据块和读取请求,但是它不会分配新的数据块。在整个系统的所有 DataNode 都完成升级之后,NameNode 可以恢复正常工作。 ### 回答2: "hdfs namenode -rollingUpgrade started"是Hadoop分布式文件系统(HDFS的一个命令,用于启动一个滚动升级。 滚动升级是指在不断现有服务的情况下,对系统进行升级或更新。这个命令的执行将触发一个升级过程,该过程将逐个处理HDFS集群的每个数据节点,并使它们按顺序升级到新的版本或补丁。 在HDFS,数据节点是存储数据块的物理节点。而NameNode是整个系统的主节点,负责管理文件系统的命名空间和元数据。在滚动升级过程,NameNode将逐个处理每个数据节点,确保它们以一种有序的方式进行升级。 滚动升级的好处是可以在系统维护期间保持高可用性和持续的数据访问。因为在升级过程,只有部分节点会被暂停或重启,而其他节点仍然可以继续提供服务。这使得系统可以在升级过程保持运行,并且对外部用户是透明的。 执行"hdfs namenode -rollingUpgrade started"命令后,系统将开始滚动升级过程。在这个过程,NameNode将按照一定的顺序处理每个数据节点,并将其升级到新的版本或补丁。此命令的执行可能需要一些时间,具体取决于集群数据节点的数量和网络条件。 需要注意的是,滚动升级的过程,系统的一些功能和性能可能会受到一些限制或影响。因此,在进行任何类型的升级或维护操作之前,应当确保已经做好了相应的备份和恢复准备工作,并与相关的用户或团队进行沟通和协调。 ### 回答3: hdfs namenode -rollingUpgrade started 是Hadoop分布式文件系统(HDFS的一个命令,用于启动滚动升级操作。滚动升级是指在不断服务的情况下逐步升级系统的过程。 它主要用于在Hadoop集群,将一个正在运行的系统从一个版本升级到下一个版本,而不会断正在进行的数据处理任务。滚动升级启动后,它会启动一个升级进程,该进程将负责升级系统的每个节点。 在滚动升级过程HDFS的NameNode节点会得到特别关注。NameNodeHDFS的主节点,负责管理文件系统的命名空间、数据块的映射以及用户的访问控制等功能。滚动升级期间,NameNode会逐个升级每个节点,确保整个集群的系统版本保持一致。 滚动升级的目的是确保系统在升级过程的平稳过渡,并最大程度地减少系统断对用户和任务的影响。通过逐个升级节点,集群的其他节点可以继续正常工作,数据的可用性和可靠性得到保证。 需要注意的是,滚动升级是一个时间较长的过程,可能需要数小时甚至数天才能完成。升级期间,操作人员应密切关注升级进展,确保升级过程没有错误发生,并根据需要采取相应的措施。 总而言之,hdfs namenode -rollingUpgrade started 是启动HDFS的滚动升级操作的命令,通过逐个升级节点,确保系统在升级过程的平稳过渡,最大程度地减少断对用户和任务的影响。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值