Hadoop
文章平均质量分 94
以图文的形式记录Hadoop大数据技术,逐步深入介绍HDFS、YARN、MapReduce等Hadoop生态圈的知识,掌握Hadoop生态圈组件的应用,归纳常见问题的解决方法,提高大数据开发的能力。
苜苜的烂笔头
前期无脑写,中期分流删OpenCV,后期着重数据质量提升,现在做qs、规划,准备吃s
展开
-
太强了, SecondaryNameNode 的工作流程
介绍了 SecondaryNameNode 的工作流程( fsimage 与 edits 文件的合并),以及 检查点 的相关知识,方便了解 NameNode 与 SecondaryNameNode 之间的关系。原创 2021-04-14 11:37:07 · 33911 阅读 · 411 评论 -
干货满满,图文详解 HDFS 的 工作机制 及其原理
介绍了 机架感知(通过HDFS网络拓扑图介绍)、副本冗余存储策略及其优点, HDFS文件读取、写入的详细过程(HDFS数据上传 、 下载 过程的分析),FSDataInputStream 类、FSDataOutputStream 类的常用方法,以及 数据容错 的有关知识。原创 2021-04-14 11:08:05 · 31021 阅读 · 52 评论 -
一文了解 HDFS 及其组成框架
介绍了HDFS是什么、HDFS的优缺点,NameNode节点、DataNode节点、SecondaryNameNode节点的 定义 及 功能 介绍。原创 2021-04-14 10:33:28 · 42543 阅读 · 496 评论 -
万字详解,Hadoop大数据技术简介及 伪分布式集群搭建快速入门教程
在大学时学习Hadoop大数据技术的时候,安装配置Hadoop框架,发现找的一些资料介绍得不够详细,比如一些路径的变化没有说清楚,这对于初学者来说是不够友好的,所以在这里做个详细总结介绍一下Hadoop框架,以及Ubuntu版本的Hadoop伪分布式的安装配置。原创 2020-05-07 21:25:45 · 151307 阅读 · 411 评论 -
启动Hadoop后 没有DataNode进程 的解决方法
介绍怎样解决执行命令start-all.sh启动Hadoop时 没有DataNode进程 这个问题。原创 2020-12-22 15:40:09 · 93635 阅读 · 63 评论 -
执行start-all.sh启动Hadoop时 没有NameNode 的解决方法
介绍怎样解决启动Hadoop后 没有NameNode 的问题。原创 2020-12-01 11:04:22 · 63496 阅读 · 26 评论 -
启动Hadoop时提示 start-all.sh:找不到命令 的解决方法
输入 start-all.sh 命令后,提示 “找不到命令” 这个问题的解决方法。原创 2020-11-12 09:07:16 · 104491 阅读 · 67 评论 -
每次开机都需要 重新格式化 才有 NameNode进程 的解决方法
每次开机都需要重新格式化,才能启动NameNode进程?这个问题是有办法解决的。原创 2020-10-24 10:04:19 · 75893 阅读 · 83 评论