2014年01月_yakcy

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月 01月

原创 Hadoop单节点故障改进方案对比

HDFS 单点改造方案对比1背景目前，HDFS集群的架构包括了单个Name Node和若干个DataNode。Name Node负责两方面的事情：一方面是存储和管理整个命名空间，包括创建、修改、删除和列举文件目录等文件系统级别的操作；另一方面是管理Data Node和文件块。Data Node主要负责文件块的持久化存储和远程访问。1.1命名空间管理HDFS的命名空间包含

2014-01-27 16:05:39 2522 1

原创 Hadoop在淘宝中的应用

【文章摘要】据悉，淘宝Hadoop集群拥有2860个节点，清一色基于英特尔处理器的x86服务器，其总存储容量50PB，实际使用容量超过40PB，日均作业数高达15万，为淘宝网的日常运营做出了关键支撑。对了，它还有一个很美丽的名字：“云梯”。　　当下中国超大规模的单Master节点Hadoop集群在哪里？在淘宝。　　据悉，淘宝Hadoop集群拥有2860个节点，清一色基于英特尔处理器

2014-01-27 15:48:19 3287 1

原创 hadoop安全机制Kerberos详细介绍

Kerberos1、Kerberos是一个基于共享密钥对称加密的安全网络认证系统，它避免了将密码（包括密码hash）在网上传输，而是将密码作为对称加密的密钥，通过能不能解密来验证用户的身份；2、Kerberos在验证完用户身份后会发给用户Ticket，这个Ticket包含了用户的授权，用户拿着这个Ticket去享受各种服务，所以在Kerberos管理的范围内用户只需要登录一次就可以

2014-01-26 11:23:25 5125

原创 hadoop2.2稳定版本新特性

原文出自：http://dongxicheng.org/mapreduce-nextgen/hadoop-2-2-0/Hadoop 2.0的第一个稳定版本2.2.0于2013年10月15如发布了，这个版本是继1.0.0版本后，又一个具有里程碑意义的版本，这意味着Hadoop进入2.0时代。本文尝试解析Hadoop 2.2.0中包含的新特性。下图是Apache Hadoo

2014-01-16 10:07:53 1457

原创 Hadoop配置文件参数说明

1 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到

2014-01-10 17:42:53 2129

原创 Hadoop 安全机制认证---Kerberos

1. 背景在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。尽

2014-01-10 15:10:11 1616

原创 Hadoop 2.0 NameNode HA和Federation实践

一、背景天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability

2014-01-07 11:42:09 2344