hadoop hdfs格式化

最新推荐文章于 2024-04-24 09:45:00 发布
最新推荐文章于 2024-04-24 09:45:00 发布
阅读量738 收藏 1
点赞数
分类专栏： hadoop hdfs格式化 文章标签： hadoop hdfs jdk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46492273/article/details/110939769
版权
本文介绍了在安装Hadoop过程中遇到的版本名称不一致的问题，通过修改Java文件夹名称来匹配配置文件中的JAVA_HOME。同时，文章详细讲解了如何配置HDFS并进行格式化，包括在环境变量中添加JAVA_HOME、HADOOP_HOME和相关路径。
摘要由CSDN通过智能技术生成

@HADOOP 安装小问题

HADOOP

因为版本的名称不同，在usr/java下文件名为java1.8.0_271-amd64
而在之前hadoop配置时写的java-home是java1.8.0_271
为了方便，这里采用了改文件夹的名称

改名称

mv jdk1.8.0_271-amd64 jdk1.8.0_271

配置hdfs和hdfs的格式化

格式化步骤
以下内容是在第一个修改的最后面要增加的语句
JAVA_HOME=/usr/java/jdk1.8.0_271
HADOOP_HOME=/usr/local/hadoop-2.7.7
PATH= P A T H : PATH:

最低0.47元/天 解锁文章
可可爱爱还有个大脑袋
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
重新格式化HDFS的方法
u011762604的博客
06-07 878
重新格式化hdfs系统的方法： （1）查看hdfs-ste.xml： span style="font-size:18px;">property>     name>dfs.namenode.name.dirname>     value>/home/hadoop/hdfs/namevalue>     description>namenode上存储hdfs名字空间元
hadoop重新格式化HDFS步骤解析
09-30
主要介绍了hadoop重新格式化HDFS步骤解析，由于此方法需要将HDFS中数据全部清除，用者需注意。
hadoop使用常出现的问题
a377987399的博客
05-31 496
1.再次格式化namenode以后，DataNode不能正常启动：     原本已经可以正常启动的hdfs，在一次重新使用hdfs namenode -format后不能正常启动，表现为master节点上使用jps命令能正常看到所有的进程，而其他节点上jps命令显示没有DataNode进程。    原因：namenode格式化以后会造成namenode的clusterID与DataNode的clu...
Hadoop格式化namenode出错
最新发布
2301_77836489的博客
04-24 549
Hadoop格式化namenode出错
hdfs命令，hadoop基本常用命令
m0_46589413的博客
04-24 7213
hdfs命令，hadoop基本常用命令
Hadoop格式化hdfs
qiulinsama的博客
08-02 8449
1.删除目录 格式化NameNode时，会产生新的clusterID,导致NameNode和DataNode的clusterID不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。 data数据目录在hdfs-site.xml中的dfs.datanode.data.dir。 <property> ...
Hadoop集群--文件系统格式化和集群启动
09-18 3719
hadoop在安装配置完后启动前必须要先进行节点格式化，使用hadoop的操作用户jinxing完成 ，在主节点执行指令，带动从节点启动 hdfs namenode -format 但是由于之前解压hadoop的包时使用的是root，所有现在hadoop-3.3.0只能有root采用权限操作， 导致hadoop的普通账号jinxing没有权限去其下创建logs文件。 解决办法有2个： 1.从最开始解压时就使用jinxing账号，这样的活后续就不会有问题 2.如果之前使用root解压的包..
hdfs 格式化
weixin_38401971的博客
01-16 934
格式化命令 hdfs namenode -format 为什么要格式化？ NameNode主要被用来管理整个分布式文件系统的命名空间(实际上就是目录和文件)的元数据信息，同时为了保证数据的可靠性，还加入了操作日志，所以，NameNode会持久化这些数据(保存到本地的文件系统中)。对于第一次使用HDFS，在启动NameNode时，需要先执行-format命令，然后才能正常启动NameNode节点的...
hadoop格式化HDFS出现错误解决办法
01-10
hadoop格式化HDFS出现错误解决办法 报错信息： host:java.net.UnknownHostException: centos-wang: centos-wang: unknown error 在执行hadoop namenode -format命令时，出现未知的主机名。  问题原因：  出现...
java 从hadoop hdfs读取文件 进行groupby并显示为条形图
05-21
在Java编程环境中，结合Hadoop HDFS（Hadoop Distributed File System）进行大数据处理是一种常见的实践。本项目聚焦于从HDFS读取数据，执行GROUP BY操作，并将统计结果以条形图的形式展示出来，提供了直观的数据...
Hadoop namenode重新格式化需注意问题
热门推荐
玄火的专栏
10-15 3万+
hadoop重新格式化意味着集群的数据会被全部删除，格式化前需考虑数据备份或转移问题。格式化前需要进行一些特别的文件删除操作，否则将导致格式化后hadoop无法正常启动。
hadoop 多次格式化format namenode 导致节点不能启动解决
qq_41059374的博客
06-14 2万+
1.  具体配置     我用的是vmware配的虚拟机，一个master，2个slave2. 遇到的问题hadoop 多次格式化format namenode 导致节点不能启动，出现这个问题的原因是多次格式化会导致节点的clusterID不一致3. 解决方法    我是参考的stackoverflow的方法，有一些不同           https://stackoverflow.com/qu...
hadoop重新格式化HDFS
Allen的博客
08-29 6160
重新格式化hdfs系统的方法： 1、打开hdfs-site.xml 我们打开Hadoop的hdfs-site.xml，基本配置如下所示： <property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/hdfs/name</value> </property&g...
hadoop hdfs多次format后如何处理
archer的技术故事
12-01 4070
hadoop dfhs多次format后如何处理 问题： 集群跑起来后所有的参数都是0。 1、查看namenode和datanode的文件夹在哪里。 2、进入文件夹，找到一个叫做VERSION的文件。 查找到文件中的这个clusterID字段 需要保证当前正在使用的namenode和datanode中的clusterID是相同的。这样集群
hadoop命令大全(完整)
weixin_44441131的博客
05-11 2万+
hdfs常用命令： 文章目录1. hdfs文件系统命令1.1 文件路径增删改查系列：1.2 空间大小查看系列命令：1.3 权限管理类：1.4 文件操作（上传下载复制）系列：1.5 判断系列：1.6 系统功能管理类：2. 运维命令3. mapreduce命令4. hdfs系统检查工具fsck5. 运行pipies作业 1. hdfs文件系统命令 1.1 文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls
Hadoop格式化HDFS报错java.net.UnknownHostException: localhost.localdomain: localhost.localdomain
蜗牛之旅
04-16 1446
异常描述 在对HDFS格式化，执行hadoop namenode -format命令时，出现未知的主机名的问题，异常信息如下所示： [plain] view plaincopyprint? [shirdrn@localhost bin]$ hadoop namenode -format  11/06/22 07:33:31 INFO namenode.Na
HDFS格式化报错
饭桶一生奋斗
12-14 978
报错信息：SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: zz.chen: zz.chen我的解决方案：在/etc/hosts文件里加一行 : 127.0.0.1 zz.chen转自：http://blog.csdn.net/grantxx/a
虚拟机hadoophdfs格式化文件没有sush文件
05-02
当我们在虚拟机中使用HDFS格式化时，如果缺少sush文件，则可能会出现权限设置方面的问题，进而可能会影响数据的读取和存储。 解决这个问题的方法是，我们需要在虚拟机中手动创建sush文件，并对其进行相应的权限设置...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值