大数据技术原理

大数据技术原理

大数据技术原理与应用

大数据作为继云计算、物联网之后IT行业又一颠覆性的技术，备受关注。大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业，都融入了大数据的印迹，大数据对人类的社会生产和生活必将产生重大而深远的影响。

分布式数据库HBase

HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。
HBase的运行有三种模式：单机模式、伪分布式模式、分布式模式。
单机模式：在一台计算机上安装和使用HBase，不涉及数据的分布式存储；伪分布式模式：在一台计算机上模拟一个小的集群；分布式模式：使用多台计算机实现物理意义上的分布式存储。

安装并配置HBase

说明：HBase的版本一定要和之前已经安装的Hadoop的版本保持兼容，不能随便选择版本。HBase1.1.2和Hadoop2.7.1（或Hadoop2.6.0或Hadoop2.7.3）兼容，而HBase2.2.2和Hadoop3.1.3兼容。

HBase1.1.2安装

1.解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local，命令如下：

2.将解压的文件名hbase-1.1.2改为hbase，以方便使用，命令如下：

3.配置环境变量
将hbase下的bin目录添加到path中，这样，启动hbase就无需到/usr/local/hbase目录下，大大的方便了hbase的使用。
编辑~/.bashrc文件

如果没有引入过PATH请在~/.bashrc文件尾行添加如下内容：
如果已经引入过PATH请在export PATH这行追加/usr/local/hbase/bin，这里的“：”是分隔符。如下图：

编辑完成后，再执行source命令使上述配置在当前终端立即生效，命令如下：

4.添加HBase权限
5.查看HBase版本，确定hbase安装成功,命令如下：
命令执行后，输出信息截图如下：

看到以上输出消息表示HBase已经安装成功。

HBase配置

HBase有三种运行模式，单机模式、伪分布式模式、分布式模式。

单机模式配置

1.配置/usr/local/hbase/conf/hbase-env.sh 。配置JAVA环境变量，并添加配置HBASE_MANAGES_ZK为true，用vi命令打开并编辑hbase-env.sh，命令如下：
配置JAVA环境变量，jdk的安装目录默认是 /usr/lib/jvm/java-1.7.0-openjdk， 则JAVA _HOME =/usr/lib/jvm/java-7-openjdk-amd64，其中java-1.7.0-openjdk是你的jdk版本；配置HBASE_MANAGES_ZK为true，表示由hbase自己管理zookeeper，不需要单独的zookeeper。

添加完成后保存退出即可。
2. 配置/usr/local/hbase/conf/hbase-site.xml

打开并编辑hbase-site.xml，命令如下：
在启动HBase前需要设置属性hbase.rootdir，用于指定HBase数据的存储位置，因为如果不设置的话，hbase.rootdir默认为/tmp/hbase-${user.name},这意味着每次重启系统都会丢失数据。此处设置为HBase安装目录下的hbase-tmp文件夹即（/usr/local/hbase/hbase-tmp）,添加配置如下：

3. 接下来测试运行。首先切换目录至HBase安装目录/usr/local/hbase；再启动HBase。命令如下：

伪分布式模式配置

1.配置/usr/local/hbase/conf/hbase-env.sh。命令如下：

配置JAVA_HOME，HBASE_CLASSPATH，HBASE_MANAGES_ZK.

HBASE_CLASSPATH设置为本机Hadoop安装目录下的conf目录（即/usr/local/hadoop/conf）


2.配置/usr/local/hbase/conf/hbase-site.xml

用命令vi打开并编辑hbase-site.xml，命令如下：

修改hbase.rootdir，指定HBase数据在HDFS上的存储路径；将属性hbase.cluter.distributed设置为true。假设当前Hadoop集群运行在伪分布式模式下，在本机上运行，且NameNode运行在9000端口。

hbase.rootdir指定HBase的存储目录；hbase.cluster.distributed设置集群处于分布式模式.
截图如下：

3. 接下来测试运行HBase。

第一步：首先登陆ssh，之前设置了无密码登陆，因此这里不需要密码；再切换目录至/usr/local/hadoop ；再启动hadoop，如果已经启动hadoop请跳过此步骤。命令如下：

第二步：切换目录至/usr/local/hbase;再启动HBase.命令如下：

进入shell界面：

4.停止HBase运行,命令如下：

by 1224 qmy