hadoop
w4xj
业精于勤荒于嬉
展开
-
服役新数据节点与退役旧数据节点
1.随着公司业务量的变化,需要对原有的数据节点新增服役节点或者退役节点,以达到资源合理利用2.环境准备[1].克隆一台节点[2].修改 ip 地址和主机名称[3].增加新增节点的同步 ssh(namenode和resourcemanager都需要要配置到新节点的ssh)[4].如果克隆的机器有存量数据,先删除留存的文件/opt/module/hadoop-2.7.2/data...原创 2019-01-27 13:12:01 · 910 阅读 · 0 评论 -
NameNode工作机制
1.NameNode与Secondary NameNode的工作机制[1].第一阶段:namenode 启动①.第一次启动 namenode 格式化后,创建 fsimage 和 edits 文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。②.客户端对元数据进行增删改的请求。③.namenode 记录操作日志,更新滚动日志。④.namenode 在内存中对数据...原创 2019-02-23 15:08:51 · 1794 阅读 · 0 评论 -
MapReduce之WordCount
1.需求:统计单词(以空格拆分)出现的次数2.数据歌名 像我这样的人演唱 毛不易作词 毛不易作曲 毛不易像 我 这样 优秀 的 人本该 灿烂 过 一生怎么 二十 多年 到头 来还在 人海 里 浮沉像 我 这样 聪明 的 人早就 告别 了 单纯怎么 还是 用了 一段 情去 换 一身 伤痕像 我 这样 迷茫 的 人像 我 这样 寻找 的 人像 我 这样 碌碌无为 ...原创 2019-03-10 12:29:43 · 155 阅读 · 0 评论