华为云搭建hadoop大数据之格式化zookeeper问题

最新推荐文章于 2024-05-13 03:34:52 发布
最新推荐文章于 2024-05-13 03:34:52 发布
阅读量624 收藏
点赞数
分类专栏： 华为云 hadoop+centos 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44982182/article/details/106408345
版权

华为云搭建hadoop大数据之格式化zookeeper问题

华为云搭建hadoop大数据之格式化zookeeper问题：
在搭建HADOOP集群时，在格式化ZKFC时，总报org.apache.hadoop.HadoopIllegalArgumentException: Bad argument: –formatZK。

原因

是原因是因为在进行zookeeper格式化时我们习惯了复制 hdfs zkfc -formatZK 命令到命令行。

解决办法

英文状态下手动收入 hdfs zkfc -formatZK 命令，注意 - 这个符号是英文状态下，接下来格式化就成功了
在这里插入图片描述

qq_44982182
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
格式化zookeeper命令_zookeeper原理篇Zookeeper的数据存储与恢复原理
weixin_39670464的博客
01-26 967
前言经过前面的一些文章的学习和了解，我们对Zookeeper有了一定的理解。前文直达链接：zookeeper原理篇-Zookeeper选举过程分析zookeeper原理篇-Zookeeper会话机制但是无论是节点持久化，还是启动流程中的数据恢复等，我们都没有详细的去了解内部的数据存储和恢复的机制，本篇文章就开始学习Zookeeper的数据存储相关。内存存储zookeeper刚开始的时候，...
hadoop配置—搭建集群并安装zookeeper
zhoutao719的博客
09-15 456
文章目录hadoop集群搭建前提克隆虚拟机zookeeper安装配置zookeeper hadoop集群搭建 前提 hadoop集群搭建需要启动多台虚拟机(我这配置了3台)，所以我将之前安装的hadoop进行克隆 克隆虚拟机 (克隆虚拟机需先关机) 选中要克隆的虚拟机，右击选择管理—>克隆，如图所示 除了有些步骤，其他都是下一步 要改的步骤如下 1、克隆方法要创建完整克隆 2、选择安装路径(不要放在C盘) 3、配置内存(我是选的4GB，根据电脑内存配置) 4、网络适配器重新生成MAC码(我这里
云服务上面部署zookeeper
lz12666的博客
10-17 175
https://cloud.tencent.com/developer/article/1406444
zookeeper原理篇-Zookeeper的数据存储与恢复原理
2401_84875852的博客
05-13 1034
这里附上上述的技术体系图相关的几十套腾讯、头条、阿里、美团等公司2021年的面试题，把技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，这里以图片的形式给大家展示一部分。当程序员容易，当一个优秀的程序员是需要不断学习的，从初级程序员到高级程序员，从初级架构师到资深架构师，或者走向管理，从技术经理到技术总监，每个阶段都需要掌握不同的能力。早早确定自己的职业方向，才能在工作和能力提升中甩开同龄人。
华为云服务器： 使用Docker快速搭建Zookeeper和kafka集群
DynastyTing的专栏
06-10 490
使用Docker快速搭建Zookeeper和kafka集群 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像，版本3.4 docker pull zeelos/kafka-mirrormaker:5.2.2-arm64v8 主机： vim /etc/sysctl.conf vm.max_map_count=262144 sysctl -p ...
消息中间件03-华为云鲲鹏服务器Zookeeper移植指南
restart-llyang的博客
06-15 193
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。本次移植以Zookeeper3.4.6为例进行说明，其他版本将下文中的3.4.6替换为对应的版本号进行验证即可。 https://bbs.huaweicloud.com/forum/thread-20581-1-1.html ...
实验2 基于华为云的Hadoop分布式系统搭建1
08-08
【实验名称】基于华为云的Hadoop分布式系统搭建1 【实验目的】 1. 学习和理解华为云平台的基本操作和资源管理，包括如何在华为云控制台上创建和管理弹性云服务器。 2. 掌握分布式文件系统HDFS（Hadoop Distributed...
华为大数据认证：ZooKeeper集群分布式协调服务.pptx
09-24
在华为的FusionInsight大数据解决方案中，ZooKeeper作为基础组件，为上层的各种服务如Hive、HDFS/HBase、M/R、Spark、Porter、Miner、DataFarm、Hadoop、Storm、Solr等提供协调和管理服务。此外，它还参与系统的安全...
北交课程实验华为云华为大数据平台搭建.zip
最新发布
06-01
"北交课程实验华为云华为大数据平台搭建.zip" 这个压缩包文件的主题聚焦于一个教育项目，显然源自北京交通大学的一门课程。实验的目的是让学生掌握如何在华为云上构建和配置大数据处理平台。通过这个实验，学生能够...
华为云大数据实验报告hhu
01-30
这里，我们可能会涉及华为云的多种服务，如ECS、数据库服务、数据仓库服务等，以实现数据的收集、存储、分析和可视化。通过云服务，我们可以更便捷地管理和扩展大数据应用，同时减少对硬件资源的依赖。 综合实验一...
基于华为云平台的大数据专业实训教学改革.docx
07-01
2. 改革内容包括建立大数据专业实训云软硬件架构和实训平台，学生能使用分配的账号登录访问实训云，申请多台虚拟主机，搭建大数据 Hadoop 集群实训环境，进行大数据专业课程实训练习。 3. 改革实训流程不再采用传统...
hadoop（九）hadoop+zookeeper集群搭建
~
08-24 305
zookeeper搭建 zookeeper命令 第6步不同 修改zoo.cfg,修改 vi zoo.cfg tickTime=2000 dataDir=/usr/local/zookeeper-3.4.6/data dataLogDir=/usr/local/zookeeper-3.4.6/logs clientPort=2181 ...
hadoop+zookeeper 高可用
qq_42311209的博客
05-27 104
zookeeper 高可用 实验环境 共需要5台虚拟机server1-5。因为Zookeeper 集群至少三台，总节点数为奇数个。2.3.4为zookeeper的节点 rhel7.3 hostname ip server1（NameNode） 172.25.60.1 server2（JournalNode） 172.25.60.2 server3 （JournalNo...
HDFS-HA
Wuyikkk的博客
02-25 314
一、HDFS-HA故障转移机制 考虑到edits编辑日志如果放在一台active的NamNode上话，如果此节点挂掉，另外的NameNode无法获取到数据，所以引出了Edits文件管理系统：qjournal集群。 故障转移流程 NameNode正常运行时，向去journal集群获取edits，各个NameNode节点都有一个独立的Zookeeper Failover controller（ZKFC），active的NameNode的ZKFC在Zookeeper中占用一个临时节点，其余的ZKFC通过监视此
Hadoop-HDFS HA集群搭建（zookeeper）
weixin_46662378的博客
06-15 828
hadoop-hdfs ha模式搭建
Hadoop2初始安装时，执行hdfs zkfc -formatZK日志
11-07 4958
[biadmin@1 Crate]$ hdfs zkfc -formatZK 16/11/07 12:05:21 INFO tools.DFSZKFailoverController: Failover controller configured for NameNode NameNode at 1.hadoop.com/10.1.48.48:8020 16/11/07 12:05:21 INF
HDFS-HA的配置-----自动Failover（ZKFC）
小小八卦姐的专栏
11-03 6906
转载于http://blog.csdn.net/chenpingbupt  http://www.wuzesheng.com/?p=2475 1、概述     在手动FailOver的基础上，自动Failover增加了两个东西：一个是ZooKeeper集群，一个是ZKFailoverController(简称：ZKFC) ZK集群： 作为一个高可靠系统，能够为一小部分
hdfs所有nameNode都是standby，zkfc 进程锁启动不了。
Jason不在家的博客
11-09 2264
之前因为hbase的问题把zookeeper文件夹下的数据文件给删掉了 后来HDFS就就出现竞争锁启动不了，nameNode没有主节点的问题， 后来通过重新格式化HDFS的zkfc就好了，不知道为啥，估计是因为有数据信息存在zookeeper里 hdfs zkfc -formatZK
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
热门推荐
想你依然心痛的博客
06-26 5万+
修改start-yarn.sh和stop-yarn.sh。修改start-dfs.sh和stop-dfs.sh。使用root账号启动服务，但没预先定义。修改后重新启动Hadoop就成功了！欢迎start，欢迎评论，欢迎指正。
华为FusionInsight Hadoop大数据解决方案详解及实战应用
华为FusionInsight Hadoop是华为针对企业级大数据场景设计的解决方案，它基于Apache Hadoop开源框架，提供了一整套包括分布式存储、计算、管理和分析在内的全面服务。FusionInsight Hadoop企业版具有高度稳定、安全...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值