u010662668的博客

HBase架构组成HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下：其中HMaster节点用于：管理HRegionServer，实现其负载均衡。

YARN是Hadoop系统上的资源统一管理平台，其主要作用是实现集群资源的统一管理和调度（目前还不完善，只支持粗粒度的CPU和内存的的调配）；它的基本思想是将Mapreduce的jobtracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统资源的管理和分配，而

最近几天在ubuntu上搭建hadoop集群时，遇到一点问题，纠结几天后找到解决的办法，记录如下        在hadoop安装包安装完成之后，设置ssh免密登录时，提示没有安装ssh客户端，然后就根据提示执行        sudo apt-get update;        然后就报无法连接cn.archive.ubuntu.com之类或者更新速度太慢，这是因为ubuntu中默

Hadoop的进程之间同信使用ssh方式，需要每次都要输入密码。为了实现自动化操作，需要配置ssh免密码登陆方式。配置ssh免密码登录（三个节点m1、s1、s2）主节点配置：首先到用户主目录（cd  ~），ls  -a查看文件，其中一个为“.ssh”，该文件价是存放密钥的。待会我们生成的密钥都会放到这个文件夹中。现在执行命令生成密钥： ssh-keygen -t rsa -

1、下载安装 从 http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz下载安装tar -zxvf zookeeper-3.4.6.tar.gz cd zookeeper-3.4.6 cp conf/zoo_sample.cfg conf/zoo.cfg2、配置节点

启动HBase集群：bin/start-hbase.sh单独启动一个HMaster进程：bin/hbase-daemon.sh start master单独停止一个HMaster进程：bin/hbase-daemon.sh stop master单独启动一个HRegionServer进程：bin/hbase-daemon.sh s

基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是  框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次，所以把pid文件放在这里面，并不是长久之计，为了安全起见，我们还是放到一个固定的目录下最好，当然不能放在/tmp下 

编者按：HDFS和MapReduce是Hadoop的两大核心，除此之外Hbase、Hive这两个核心工具也随着Hadoop发展变得越来越重要。本文作者张震的博文《Thinking in BigDate（八）大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解》从内部机理详细的分析了HDFS、MapReduce、Hbase、Hive的运行机制，从底层到数据管理

1、 Yarn的介绍    YARN的基本思想是将JobTracker的两个主要功能（资源管理和 作业调度/监控）分离，主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的 ApplicationMaster（AM）。这里的应用程序是指传统的MapReduce作业或作业的DAG（有向无环图）。    YARN 分层结构的本质是 ResourceMan

HBase读的实现通过前文的描述，我们知道在HBase写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，它含有Delete标记，而不一定将一个Cell真正删除了，因而这就引起了一个问题，如何实现读的问题？要解决这个问题，我们先来分析一下相同的Cell可能存在的位置：首先对新写入的Cell，它会存在于Me

Hadoop版本号下的bin目录里面有些启动命令行客户端的命令，先介绍一下hadoop这个命令：如果配好了hadoop的环境变量，那么直接在命令行输入以下命令就好！启动hdfs客户端,如果只执行这句的话，会显示所有参数的含义：hadoop  fs  查看hdfs文件系统的根目录下所有文件： hadoop fs  -ls /   (此处/为hdfs文件系统的根目录，和Linu