![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
forever19870418
这个作者很懒,什么都没留下…
展开
-
hadoop2.6.0删除集群节点(三)
一、修改master节点hdfs-site.xml,增加dfs.hosts.exclude参数 [hadoop@master hadoop]$ vi hdfs-site.xml dfs.hosts.exclude /opt/hadoop/etc/hadoop/excludes原创 2017-03-17 15:41:55 · 395 阅读 · 0 评论 -
hadoop2.6.0集群复制因子更改(四)
一、查看当前文件副本个数 [hadoop@master hadoop]$ hdfs dfs -lsr / lsr: DEPRECATED: Please use 'ls -R' instead. drwxr-xr-x - hadoop supergroup 0 2017-03-16 23:39 /system drwxr-xr-x - hadoop sup原创 2017-03-17 16:25:42 · 1970 阅读 · 0 评论 -
使用QJM构建HDFS HA架构(五)
集群规划,在以前的文档中我已经搭建好一个hadoop2.6.0的非集群环境,我们就在这个基础之上搭建HA QJM的集群实现方式 一 操作系统的基本配置 (可以参考hadoop2.6.0三个节点集群环境搭建(一)) 二 Hadoop的安装 (可以参考hadoop2.6.0三个节点集群环境搭建(一)) 三 hdfs-site.xml配置(HA) (1) HD原创 2017-03-20 15:32:51 · 379 阅读 · 0 评论 -
基于ZK自动切换模式的实现(六)
配置自动切换模式 (1)配置zookeeper集群 (2)开启自动切换模式 在hdfs-site.xml中配置dfs.ha.automatic-failover.enabled参数 (3)配置zookeeper实例 在core-site.xml中配置ha.zookeeper.quorum (4)初始化zookeeper (5)启动journalnode,namenode和datano原创 2017-03-21 15:47:49 · 691 阅读 · 0 评论 -
HA+Federation集群实现(七)
集群规划 配置步骤 1、core-site.xml 1)整合Federation和HA的配置 2、hdfs-site.xml 1)添加新增节点配置 3、启动服务 1)zookeeper 2)journalnode 3)datanode 4)namenode 5)zkfc 实施步骤 在原有的ha基础上进行配置,即基于《基于ZK自动切换模式的实现(六)》的基础之上进行原创 2017-03-24 09:55:20 · 358 阅读 · 0 评论 -
Hadoop 1.2.1 伪分布升级到 2.6.0伪分布(八)
Hadoop 1.2.1伪分布式搭建 一 创建目录 mkdir -p /hadoop/hadoop/data/dfs/name mkdir -p /hadoop/hadoop/data/dfs/data mkdir -p /hadoop/tmp chown -R hadoop:root /hadoop 二 解压hadoop 1.2.1到hadoop [hadoop@hadoo原创 2017-03-24 16:39:04 · 744 阅读 · 0 评论 -
MapReduce工作原理
最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理 下面我画了一张图,便于理解MapReduce得整个工作原理 下面对上面出现的一些名词进行介绍 ResourceManager:是YARN资源控制框架的中心模块转载 2017-03-15 09:54:18 · 386 阅读 · 0 评论 -
hadoop2.6.0三个节点集群环境搭建(一)
一、操作系统配置 (1) 主机名更改 (2) Ip地址配置 (3) /etc/hosts文件配置 (4) 无密码登入 (5) Jdk安装 (6) /etc/hosts文件配置防火墙关闭 (7) Selinux关闭 (8) vm.swappiness参数配置 (9) 创建hadoop用户及目录 (1)主机名更改: [root@elephant catchup原创 2017-03-16 16:17:18 · 992 阅读 · 0 评论 -
hadoop2.6.0添加集群节点(二)
一、新节点操作系统配置(可以参考hadoop2.6.0三节点集群环境搭建(一)) (1) 主机名更改 (2) Ip地址配置 (3) /etc/hosts文件配置 (4) Jdk安装 (5) /etc/hosts文件配置防火墙关闭 (6) Selinux关闭 (7) vm.swappiness参数配置 (8) 创建hadoop用户及目录 (9) 无密码登入 二、 更新所有原创 2017-03-17 14:01:49 · 906 阅读 · 0 评论