![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
戒酒的李白xc
java攻城狮
展开
-
Hadoop-2.8.4.tar.gz在centos6.9上编译
1.首先是JDK的安装:选择版本jdk1.8_172(略)2.安装依赖包:yum -y install gcc-c++ build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-devua svn openssl-devel ncurses-devel3.安装maven,推荐maven...原创 2018-08-19 22:31:45 · 399 阅读 · 0 评论 -
Hadoop的集群安全模式
namenode 启动时,首先将镜像文件fsimage载入内存,并执行编辑日志edits中的各项操作。一旦在内存中成功建立文件系统元数据的镜像,则创建一个新的faimage文件和一个空编辑日志。此时,namenode开始监听datanode请求。但是此刻,namenode运行在安全模式,即namenode的文件系统对于客户端来说是只读的。系统中的数据块的位置并不是由namenode维护的,而是...原创 2019-05-14 09:09:22 · 267 阅读 · 0 评论 -
namenode,secondary namenode和datanode的工作机制
namenode的工作机制:第一阶段:namenode启动(1)第一次启动namenode格式化之后,创建fsimage和edits文件。如果不是第一次启动,则直接加载编辑日志和镜像文件到内存。(2)客户端对元数据进行增删改的请求。(3)namenode记录操作日志,更新滚动日志。(4)namenode在内存中对数据进行增删改查第二阶段:Secondarynamenode工...原创 2019-05-14 09:28:08 · 310 阅读 · 0 评论 -
datanode服役新节点
随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。准备:克隆一台机器,保证IP的正确性以及配置ssh免密登录。重新解压一个新的hadoop.tar.gz服役新节点的具体步骤:(1)在新克隆的机器上的/opt/module/hadoop-2.7.2/etc/hadoop下创建文件dfs.hosts然后v...原创 2019-05-14 09:41:07 · 135 阅读 · 0 评论