hadoop/hdfs
文章平均质量分 67
qq_26182553
这个作者很懒,什么都没留下…
展开
-
分布式按装hadoop
1. download hadoop-2.6.5.tar.gz, upload hadoop-2.6.5.tar.gz to centos folder /usr/local2. decompress tar file and config pathscd /usr/localtar -zxvf hadoop-2.6.5.tar.gz vi ~/.bashrc add new原创 2017-08-17 14:28:58 · 279 阅读 · 0 评论 -
hadoop standalone install
1. download hadoop-2.6.5.tar.gz, upload hadoop-2.6.5.tar.gz to centos folder /usr/local2. decompress tar file and config pathscd /usr/localtar -zxvf hadoop-2.6.5.tar.gz vi ~/.bashrc add new原创 2017-08-18 14:07:39 · 260 阅读 · 0 评论 -
Hadoop HA高可用配置
【注:文中配置未实际验证】 一) 配置:修改hdfs-site.xml1. dfs.nameservices - the logical name for this new nameserviceNote: If you are also using HDFS Federation, this configuration setting should also incl原创 2017-07-13 11:30:24 · 280 阅读 · 0 评论 -
Yarn HA高可用配置
yarn-site.xml yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id cluster1 yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1原创 2017-07-13 11:30:31 · 527 阅读 · 0 评论 -
Federation 简介
HDFS的局限性(HDFS只有一个active的namenode):1. 在name中存储所有的元数据(metadata),因此单个namenode所能存储的对象(块+文件)数据受到namenode所在JVM的heap size的限制。2. 整个HDFS文件系统的吞吐量受限于单个namenode的吞吐量3. 无法隔离namespace Federation HDFS 与 HDF原创 2017-07-13 11:30:38 · 2273 阅读 · 0 评论 -
hadoop伪集群配置
1. 将hadoop与主机连接方式设置成host-only,并设置静态地址 http://oracle-api.iteye.com/admin/blogs/2304613 2. 修改主机名 vi /etc/sysconfig/network 验证:重启 reboot 3. 修改hostname和IP绑定 vi /etc/hosts原创 2017-07-13 11:26:40 · 192 阅读 · 0 评论