![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 77
iteye_19838
这个作者很懒,什么都没留下…
展开
-
hadoop伪集群配置
1. 将hadoop与主机连接方式设置成host-only,并设置静态地址 http://oracle-api.iteye.com/admin/blogs/2304613 2. 修改主机名 vi /etc/sysconfig/network 验证:重启 reboot 3. 修改hostname和IP绑定 vi /etc/hosts ...原创 2016-06-13 14:44:19 · 72 阅读 · 0 评论 -
Hadoop HA高可用配置
【注:文中配置未实际验证】 一) 配置:修改hdfs-site.xml1. dfs.nameservices - the logical name for this new nameserviceNote: If you are also using HDFS Federation, this configuration setting should also i...原创 2017-04-09 13:04:47 · 121 阅读 · 0 评论 -
Yarn HA高可用配置
yarn-site.xml<property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value></property><property> <name>yarn.reso原创 2017-04-09 13:45:50 · 174 阅读 · 0 评论 -
Federation 简介
HDFS的局限性(HDFS只有一个active的namenode):1. 在name中存储所有的元数据(metadata),因此单个namenode所能存储的对象(块+文件)数据受到namenode所在JVM的heap size的限制。2. 整个HDFS文件系统的吞吐量受限于单个namenode的吞吐量3. 无法隔离namespace Federation HDFS ...原创 2017-04-09 14:26:55 · 513 阅读 · 0 评论 -
几种序列化的实现方法 java自带, Writable, Avro
package org.hdp.practice.serial;import java.io.DataInputStream;import java.io.DataOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;imp...原创 2017-04-19 16:05:19 · 164 阅读 · 0 评论