![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据基础阶段
卫星广场冻秋梨
本人部分题解博客为leetcode摘抄,仅供自己复习参考,禁止转载
展开
-
NameNode和SeondaryNameNode解析+NameNode故障处理
目录NN和2NN工作机制工作流程详细解释:CheckPoint时间设置NameNode故障处理 NN和2NN工作机制 工作流程 第一阶段:NameNode启动 (1)第一次启动NameNode格式化后,创建Fsimage和Edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存 (2)客户端对元数据进行增删改的请求 (3)NameNode记录操作日志,更新滚动日志 (4)NameNode在内存中对元数据进行增删改 第二阶段:Secondary NameNode工作 (1)Seconda原创 2020-07-20 08:43:29 · 3068 阅读 · 17 评论 -
HDFS读写流程详解及故障处理机制
HDFS写数据流程 总体流程: 客户端通过对DistributedFileSystem对象调用create()来新建文件,DistributedFileSystem对NamNode创建一个RPC调用,在文件系统的命名空间中新建一个文件,此时该文件中还没有相应的数据块,NamoNode执行各种不同的检查以确保这个文件不存在以及客户端有新建改文件的权限。 如果这些检查均通过,NameNode就会为创建新文件记录一条记录,否则文件创建失败,并向客户端抛出一个IOEx原创 2020-07-17 20:51:48 · 1534 阅读 · 0 评论 -
Linux学习第四天
安装Vmware Tools工具 1.挂载VMware Tools光驱 【设置】-->【CD/DVD】-->【使用ISO镜像文件】-->选择VMware安装目录下的Liunx.iso镜像 2.安装VMware Tools工具 【虚拟机】-->【安装VMware Tools工具】 打开光驱-->将VMwareTools-10.0.10-4301679.t...原创 2020-05-06 08:19:24 · 210 阅读 · 0 评论 -
Linux学习第二天(防火墙设置+用户+用户组+权限管理)
Linux学习第二天 修改机器名 1.说明: [hadoop@localhost Desktop]$ @之前的hadoop为用户名 @之后的localhost为机器名,也可以理解为IP映射地址 2. 进入到【/etc】下的hosts文件,修改IP与主机名的映射关系 在文件中追加:192.168.14.39 master(IP为虚拟机中VMnet8的静态IP,master为机器名) 3.修改【/et...原创 2019-07-23 23:12:31 · 270 阅读 · 0 评论 -
Linux学习第三天
Linux学习第三天(Linux常用命令) cd 进入到目录 基本语法:cd … - / ~ 绝对路径 相对路径 … :返回上一级目录 - :返回上次操作的目录 ~ :返回home目录 / :返回至根目录 pwd 打印当前所在目录 基本语法:pwd touch 创建文件 基本语法:touch 文件名 cat 打印问价你内容输出到终端,从第一行开始 基本语法: c...原创 2019-07-24 22:01:38 · 120 阅读 · 1 评论 -
Hdoop集群搭建
搭建完全分布式 1.安装jdk 2.安装hadoop 3.配置环境变量 4.设置无密登录 5.设置hadoop配置文件 6.克隆三个虚拟机 右键—>管理—>克隆---->创建完整克隆—>设置虚拟机路径 7. 关闭防火墙 $>chkconfig iptables --list 8. 修改静态IP+修改主机名 查看IP、网关、子网掩码 8.修改静态IP+修改主机名 1.查...原创 2019-07-31 22:20:58 · 158 阅读 · 0 评论