maoxiao_jsd的专栏

一、背景天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability

Hadoop的设计初衷是服务于off-line的数据存储和处理应用。随着这个产品的不断成熟和发展，对于支持on-line应用的需求越来越强烈。例如HBase已经被Facebook和淘宝用到了在线存储应用中。所以Hadoop的on-line化也是一个趋势。目前制约Hadoop作为on-line存储和处理的瓶颈主要是系统的availability。衡量一个分布式系统的主要指标有：reliability

第二步，部署好NFS，这个网上也有很多。 http://blog.sina.com.cn/s/blog_542627730100ipi5.html 我主要参考这个，下面是粘贴 引用  一、Linux 服务器端NFS 服务器的配置 　　以root 身份登陆Linux 服务器，编辑/etc 目录下的共享目录配置文件exports，指定共享目录及权限等。 　　执行如下命令

转帖请注明来自本空间地址：http://blog.csdn.net/chenpingbuptchenpingbupt@gmail.com原文请参：https://issues.apache.org/jira/browse/HDFS-1052https://issues.apache.org/jira/secure/attachment/12453067/high-level-d

一、NameNode的HA1、 core-site.xml • For MRv1:fs.default.name/name>hdfs://mycluster• For YARN:fs.defaultFShdfs://myclusterha.zookeeper.quorumzk1.example.com:2181,zk2.example.com

CDH4 HA搭建手册V1.2 一、           机器情况ocdata1710.1.253.27ocdata1810.1.253.28ocdata1910.1.253.29 我们有两台NAMENODE机器 分别部署在ocdata19和ocdata18上我们有两

1.       FS Shell1.1     简介调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可

hadoop2.2集群启动详解

带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架，Hadoop 在大数据处理的全新领域迎来了爆炸式增长。Hadoop 还开发了一个丰富多样的应用程序生态系统，包括 Apache Pig（一种强大的脚本语言）和 Apache Hive（一个具有类似 SQL 界面的数据仓库解决方案）。

历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）PS：转载请注明来源：http://blog.csdn.net/licongcong_0224/article/details/12972889另外：欢迎配置过程中遇到问题的朋友留言，相互讨论

今年，大数据在很多公司都成为相关话题。虽然没有一个标准的定义来解释何为 “大数据”，但在处理大数据上，Hadoop已经成为事实上的标准。IBM、Oracle、SAP、甚至Microsoft等几乎所有的大型软件提供商都采用了Hadoop。然而，当你已经决定要使用Hadoop来处理大数据时，首先碰到的问题就是如何开始以及选择哪一种产品。你有多种选择来安装Hadoop的一个版本并实现大数据处理。本文讨论

MapReduce统计结果直接输出hbase，我使用的是hadoop1.0.4版本和hbase 0.94版本，hadoop和hbase安装伪分布式。1.hadoop安装这里就不讲了。2.hbase安装我这里将一下。首页解压habase安装包到/home/hadoop目录。配置hosts文件如下：192.168.0.101   hadoop.master复制代

HA链接。。http://blog.csdn.net/a95473004/article/details/8667747

PurposeThis guide provides an overview of the HDFS High Availability (HA) feature and how to configure and manage an HA HDFS cluster, using the Quorum Journal Manager (QJM) feature.This document a

文章转自：http://www.tbdata.org/archives/1833一、MapR是什么？MapR是MapR Technologies, Inc的一个产品，号称下一代Hadoop，使Hadoop变为一个速度更快、可靠性更高、更易于管理、使用更加方便的分布式计算服务和存储平台，同时性 能也不断提高。它将极大的扩大了Hadoop的使用范围和方式。它包含了开源社区的许多流行的工

大数据工具篇之Hive与HBase整合完整教程一、引言　　最近的一次培训，用户特意提到Hadoop环境下HDFS中存储的文件如何才能导入到HBase，关于这部分基于HBase Java API的写入方式，之前曾经有过技术文章共享，本文就不再说明。本文基于Hive执行HDFS批量向HBase导入数据，讲解Hive与HBase的整合问题。这方面的文章已经很多，但是由于版本差异，可操作性

原文：http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html目的    这个文档从比较高的层面上描述了如何编写一个YARN应用概念和流程    首先说的概念是“Application Submission Client”他负责将“

1.安装CentOS我使用的是CentOS6.5，下载地址是http://mirror.neu.edu.cn/centos/6.5/isos/x86_64/，选择CentOS-6.5-x86_64-bin-DVD1.iso 下载，注意是64位的，大小是4GB，需要下载一段时间的。其实6.x的版本都可以，不一定是6.5。我使用的是VMWare虚拟机，分配了2GB内存，20GB磁盘空间。内