hadoop
文章平均质量分 93
雷恩Layne
大家好,我是雷恩,雷恩的雷,雷恩的恩!
展开
-
五万字,57道hadoop大厂高频面试题,每一字都细心打磨,强烈建议收藏!
文章目录1. 简述hadoop1与hadoop2 的架构异同2. 请介绍一下hadoop的HDFS3. Hadoop的运行模式有哪些4. Hadoop生态圈的组件并做简要描述5. 解释“hadoop”和“hadoop生态系统”两个概念6. 请介绍HDFS的组成架构7. HDFS的文件块大小有什么影响8. HDFS的写(上传)数据流程9. 机架感知(副本存储节点选择策略)10. HDFS的读数据流程11. NN 和 2NN 工作机制(元数据持久化机制)12. Fsimage 和 Edits中的内容13. Na原创 2021-09-25 17:10:17 · 14742 阅读 · 5 评论 -
hadoop完全分布式集群搭建
强烈建议先看一遍hadoop伪分布式集群搭建,然后再按本文的hadoop完全分布式集群搭建进行配置。集群规划四台服务器,分别为layne1~4,分布如下:layne1作为NameNode服务器layne2作为SecondaryNameNode和DataNode服务器layne3、layne4作为DataNode服务器HDFS完全分布式搭建详细步骤如下:1、四台服务器之间互相均可以免密登录可参考我之前的博客多台服务之间免密登陆2、四台服务器JDK安装并配置环境变量可参考rpm安装j原创 2021-03-21 14:15:34 · 841 阅读 · 0 评论 -
hadoop伪分布式集群搭建
本文步骤较多,请细心查看。基础设施基础设施环境如下:jdk 1.7+(提前设置好环境变量)ssh自己和自己之间进行免密登陆,如在layne1上执行ssh layne1时间同步设置本机ip设置主机名可参考Linux切换运行级别、关闭防火墙、禁用selinux、关闭sshd、时间同步、修改时区、拍摄快照、克隆操作、修改语言环境。另外,不得不提Linux系统远程执行和远程登陆的区别:远程执行:不需要用户交互,而是用户直接给出一个命令,直接在远程执行,不会加载 /etc/profile.原创 2021-03-21 13:48:59 · 1345 阅读 · 0 评论