![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
WhitAnOrChild
这个作者很懒,什么都没留下…
展开
-
hadoop集群问题备忘,自用
执行 hdfs zkfc -formatZK 遇到 异常org.apache.hadoop.HadoopIllegalArgumentException: Could not get the namenode ID of this node. You may run zkfc on the node other than namenode. 2022-01-14 15:16:20,921 INFO tools.DFSZKFailoverController将hosts文件内本机映射改为0.0.0.0原创 2022-01-14 15:26:38 · 1065 阅读 · 0 评论 -
云服务器hadoop3.0需要开通的端口以及赋权(自用)
自留自用原创 2022-01-12 13:14:26 · 1329 阅读 · 0 评论 -
HDFS
简介HDFS是Hadoop中用于进行数据分布式存储的模块一、概述HDFS中,存储数据的时候会将数据进行切块,每一个块称之为BlockHDFS中,主要包含2个重要的进程:NameNode和DataNodea. NameNode用于管理节点和记录元数据(metadata)b. DataNode是用于存储数据HDFS会对数据自动进行备份,称之为副本(replication)。如果不指定,...原创 2019-11-28 10:46:00 · 225 阅读 · 0 评论 -
Hadoop以及伪分布式+完全分布式的搭建
一、概述Hadoop是Apache提供的一套开源的、可靠的、可扩展(伸缩)的、用于进行分布式存储和计算的框架Hadoop的版本非常混乱二、发展历程创始人:Doug Cutting和Mike Caferalla在2002年,Doug和Mike设计一套搜索引擎Nutch,爬取了全网的10亿个网页的数据在2003年,Google发表了一篇论文(GFS)阐述了分布式存储的原理,但是Goo...原创 2019-11-28 10:43:22 · 286 阅读 · 0 评论