- 博客(13)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 Hadoop HA + Federation + YARN HA配置实现（九）
集群规划配置步骤一、 前提准备1） 安装好Hadoop2.0集群 《==参考《HADOOPHA+Federation集群实现（七）》及以前的文章2） 安装好zookeeper集群二、修改如下配置文件1） yarn-site.xml2） mapred-site.xml3） yarn-env.sh三、启动服务1） 启动HDFS2） 启动YARN，通过yarn-daemons.s...
2019-05-30 10:36:01
765
转载 Hadoop 1.2.1 伪分布升级到 2.6.0伪分布（八）
Hadoop 1.2.1伪分布式搭建一 创建目录mkdir -p /hadoop/hadoop/data/dfs/namemkdir -p /hadoop/hadoop/data/dfs/datamkdir -p /hadoop/tmpchown -R hadoop:root /hadoop二 解压hadoop 1.2.1到hadoop[hadoop@hadoop04 hadoo...
2019-05-30 10:31:49
89
转载 ViewFs Guide
简介文件浏览系统（ViewFs）提供了一个管理多个Hadoop文件系统命名空间（或者叫Namespace Volume）的方式。它对于有多个NameNode的联邦集群特别有用。ViewFs与Unix/Linux系统中client side mount tables类似。ViewFs可...
2019-05-30 09:56:27
153
转载 HA+Federation集群实现（七）
集群规划配置步骤1、core-site.xml1）整合Federation和HA的配置2、hdfs-site.xml1）添加新增节点配置3、启动服务1）zookeeper2）journalnode3）datanode4）namenode5）zkfc实施步骤在原有的ha基础上进行配置，即基于《基于ZK自动切换模式的实现（六）》的基础之上进行配置1）停...
2019-05-28 17:19:36
304
转载 基于ZK自动切换模式的实现（六）
配置自动切换模式（1）配置zookeeper集群（2）开启自动切换模式在hdfs-site.xml中配置dfs.ha.automatic-failover.enabled参数（3）配置zookeeper实例在core-site.xml中配置ha.zookeeper.quorum（4）初始化zookeeper（5）启动journalnode，namenode和datano...
2019-05-28 17:14:33
247
转载 Hadoop HA架构剖析
转载：http://www.pianshen.com/article/3250343691/Hadoop HA架构即 Hadoop 高可用架构，7*24小时不中断服务。实现高可用最关键的是消除单点故障。Hadoop HA 严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA。HDFS HANameNode与命名空间HDFS是通过双namenode消除单点故障（实时的，任何时...
2019-05-28 09:18:24
105
转载 使用QJM构建HDFS HA架构（五）
集群规划，在以前的文档中我已经搭建好一个hadoop2.6.0的非集群环境，我们就在这个基础之上搭建HAQJM的集群实现方式一操作系统的基本配置（可以参考hadoop2.6.0三个节点集群环境搭建（一））二Hadoop的安装（可以参考hadoop2.6.0三个节点集群环境搭建（一））三hdfs-site.xml配置（HA）(1) HDFS命名服务的逻辑名称(2) NameN...
2019-05-27 19:51:39
167
转载 hadoop2.6.0删除集群节点（三）
一、修改master节点hdfs-site.xml，增加dfs.hosts.exclude参数[hadoop@master hadoop]$ vi hdfs-site.xml<property><name>dfs.hosts.exclude</name><va...
2019-05-27 17:19:25
395
转载 hadoop2.6.0添加集群节点（二）
一、新节点操作系统配置（可以参考hadoop2.6.0三节点集群环境搭建（一））(1) 主机名更改(2) Ip地址配置(3) /etc/hosts文件配置(4) Jdk安装(5) /etc/hosts文件配置防火墙关闭(6) Selinux关闭(7) vm.swappiness参数配置(8) 创建hadoop用户及目录(9) 无密码登入二、 更新所有节点的/e...
2019-05-27 17:14:40
177
转载 hadoop2.6.0三个节点集群环境搭建（一）
一、操作系统配置(1) 主机名更改(2) Ip地址配置(3) /etc/hosts文件配置(4) 无密码登入(5) Jdk安装(6) /etc/hosts文件配置防火墙关闭(7) Selinux关闭(8) vm.swappiness参数配置(9) 创建hadoop用户及目录(1)主机名更改：[root@elephant catchup]# vi /etc/sysco...
2019-05-27 17:11:08
338
转载 hadoop2.6.0集群复制因子更改（四）
一、查看当前文件副本个数[hadoop@master hadoop]$ hdfs dfs -lsr /lsr: DEPRECATED: Please use 'ls -R' instead.drwxr-xr-x - hadoop supergroup 0 2017-03-16 23:39 /systemdrwxr-xr-x - hadoop supergroup...
2019-05-27 16:54:59
345
转载 Hadoop2.7实战v1.0之start-balancer.sh与hdfs balancer数据均衡
转发：http://www.aboutyun.com/thread-17612-1-1.html适用场景：a.当动态添加或者删除集群的数据节点，必然会使各节点的数据不均衡b.当正常维护时1.对hdfs负载设置均衡，因为默认的数据传输带宽比较低，可以设置为64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可[root@sht-sgmhad...
2019-05-27 15:36:05
2579
原创 java内存优化
-Xms1024m -Xmx4096m -Xss1024K -XX:PermSize=512m -XX:MaxPermSize=2048m
2019-05-08 15:25:41
177
咨询下，cachecloud现在的版本能不能使用lettuce或redssion？
2021-11-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人