![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 74
基本常识
Matrix70
永远少年
展开
-
本地文件上传至HDFS中的命令
本地上传文件至hadoop原创 2023-12-20 10:47:36 · 964 阅读 · 0 评论 -
Hadoop理论及实践-HDFS四大组件关系(参考Hadoop官网)
这篇博客介绍的是HDFS的NameNode,DataNode,ZKFC,JournalNode的功能以及他们之间的联系。细节部分是Checkpoint机制(检查点)的原理,HA机制,ZKFC以及JournalNode在这里面起到的不可忽视的作用,蛮细的。原创 2023-08-09 16:10:47 · 1013 阅读 · 0 评论 -
Hadoop理论及实践-HDFS读写数据流程(参考Hadoop官网)
NameNode根据一定的策略选择可用的DataNode,并为文件的每个数据块分配一个主节点(Primary DataNode)和多个副本节点(Replica DataNode),NameNode返回文件的数据节点列表给客户端。5、客户端根据数据节点列表,将数据切分成数据块,并按照指定的策略将这些数据块依次写入各个DataNode的数据节点。主节点将数据块按照指定的格式进行存储,并将数据复制到副本节点。数据复制和同步:主节点将数据块的副本传输给其他副本节点,并协调副本节点之间的数据同步,保证数据的一致性。原创 2023-08-08 11:19:29 · 2834 阅读 · 0 评论 -
Hadoop理论及实践-HDFS的Namenode及Datanode(参考Hadoop官网)
本篇博客参照hadoop官网,介绍HDFS的NN及DN,副本存放机制(机架感知策略),安全模式,文件系统元数据持久化(editlog,fsimage),HDFS健壮性,数据组织及存储空间的回收,重点介绍DataNode及NameNode及机架感知策略原创 2023-08-03 17:07:33 · 3522 阅读 · 4 评论 -
基于linux的Hadoop配置文件修改和启动
本篇博客详细叙述了Hadoop的安装及配置文件的修改,包括hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml......,并介绍了将worker节点的master上的hadoop分配到worker机器中的命令,后续配置完毕后,启动 集群原创 2023-06-23 13:07:00 · 2527 阅读 · 0 评论 -
VMware进行Hadoop开发环境配置(软件准备,防火墙,NTP服务器,环境变量,SSH免密,静态网卡全流程)
我们安装了三台虚拟机,一台主,两台从,安装完使用MobaXterm来操作上传文件,关闭防火墙,关闭SElinux,并安装JDK,配置NTP服务器,创建hadoop用户,配置ssh秘钥并验证,配置静态IP,修改对应文件ifcfg-ens33,最后验证网络服务。这基本上完成基本功能的搭建。后续安装别的大数据组件呗,写这东西真费劲啊,不过还挺有趣,前面创建虚拟机省略部分步骤,其他的都很完整!我真牛逼!原创 2023-06-21 16:45:27 · 784 阅读 · 1 评论 -
Hadoop之Zookeeper
1n + 1 (奇数 台zookeeper)端口号181:对client端提供服务3888:选举leader使用1888:集群内机器通讯使用(Leader监听此端口)原创 2023-06-16 14:29:27 · 208 阅读 · 0 评论 -
如何在公司中的环境中查看到类似hdfs://localhost:9000/user/hadoop的地址
然后你可以使用这个地址与目标HDFS进行交互。目录下的文件,需要执行以下命令。基本上查看文件的时候都直接。原创 2023-06-16 14:28:29 · 1242 阅读 · 0 评论