建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们

建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们

在本教程中，您将学习如何创建和查询HDInsight使用HiveHadoop的HBase的表。下列步骤描述：
•如何使用提供在Azure门户的HBase的集群。
•如何启用和使用RDP访问HBase的外壳，并使用HBase的外壳创建HBase的示例表，添加行，然后列出表中的行。
•如何创建一个Hive表映射到一个现有的HBase的表，使用HiveQL查询数据在HBase的表。
•如何使用Microsoft HBase的REST客户端库.NET创建一个新的HBase的表，列出您帐户中的HBase的表，以及如何从表添加和检索行。

什么是HBase的？

HBase的是一种低延迟的NoSQL数据库，让大数据的联机事务处理。 HBase的是提供一个管理的集群集成到Azure的环境。集群被配置为直接在Azure中的Blob存储，这提供了在性能/成本的选择低延迟和增加的弹性存储数据。这使客户能够建立一个大型数据集工作的互动式网站，构建存储传感器和遥测数据，从数以百万计的端点的服务，并分析这些数据与Hadoop作业。关于HBase的，它可以被用于方案的详细信息，请参阅HDInsight HBase的概述。


注意：

HBase的（版本0.98.0）仅适用于在HDInsight与HDInsight3.1集群的使用（基于Apache Hadoop和YARN2.4.0）。对于版本信息，请查看有什么新的由HDInsight提供的Hadoop集群的版本？

先决条件：

开始之前本教程中，你必须具备以下条件：
•一个Azure订阅有关获取预订的详细信息，请参阅购买选项，会员优惠或免费试用。
•一个Azure存储帐户有关说明，请参阅如何创建存储帐户。
•与安装了Visual Studio2013的工作站。有关说明，请参阅安装Visual Studio。
•下载微软HBase的REST客户端库.NET。

估计时间来完成：30分钟

在本教程中的部分

•提供了Azure中门户网站的HBase的集群
•从HBase的外壳创建HBase的示例表
•使用Hive查询的HBase的表
•使用HBase的C＃API从表中创建一个HBase的表和检索数据
•摘要
•下一步是什么？

 

在Azure门户提供的HBase的集群

本节将介绍如何使用提供在Azure门户的HBase的集群。
 

注意：

本文中的步骤创建使用基本配置设置HDInsight集群。对于其他群集配置设置，例如使用Azure中虚拟网络或metastore用于Hive和Oozie的信息，请参阅提供一个HDInsight群集。
 
为了提供一个HDInsight在Azure中门户网站集群
1。登录到Azure管理门户。

2。点击左侧HDInsight列出集群您的帐户，然后在左下角的+新图标的状态。

3.点击在从左侧和在下一列则HBase的选项的第二列的HDInsight图标。指定群集名称和簇大小，存储帐户的名称，并为新的HBase集群密码的值。

4.单击在较低的检查左侧的图标创建HBase的集群。

从HBase的外壳创建HBase的示例表

本节介绍如何启用和使用远程桌面协议（RDP）来访问HBase的外壳，然后用它来创建一个HBase的示例表，添加行，然后列出表中的行。

它假定您已经完成了第一部分概述的过程，所以已经成功地创建了一个HBase的集群。

启用RDP连接到HBase的集群

1.To使到HDInsight集群中的远程桌面连接，选择已创建的HBase的集群，然后单击配置选项卡。点击ENABLE在页面底部遥控按钮启用RDP连接到群集。
2.提供的配置远程桌面向导的凭据和到期日期，点击右下角的检查循环。 （这可能需要几分钟的操作来完成。）
3.To连接到HDInsight集群，点击连接按钮，在配置选项卡的底部。

打开HBase的壳

1.在你的RDP会话，点击位于桌面上的Hadoop的命令提示符快捷方式。

2.文件夹切换到HBase的主目录：

cd %HBASE_HOME%\bin

 

3。打开HBase的外壳：

hbase shell

 

创建一个示例表，添加数据和检索数据
1.创建示例表：

create 'sampletable', 'cf1'

2.添加一行到示例表：

put 'sampletable', 'row1', 'cf1:col1', 'value1'

3.列出在示例表中的行：

scan 'sampletable'

 

使用Hive查询的HBase的表

现在你有一个HBase的集群配置和已经创建了一个表，你可以使用Hive查询。本节将创建一个Hive表映射到HBase的表，并使用该查询中的数据HBase的表。

要打开集群仪表板
1.登录到Azure管理门户。
2.从左侧窗格中点击HDINSIGHT。你会看到创建包括你刚才在上一节中创建的群列表。
3.单击您要运行的Hive作业的群集名称。
4.单击管理CLUSTER从页面底部的疏散星团仪表板。它不同的浏览器选项卡上打开一个网页。

5.输入Hadoop的用户帐户的用户名和密码。默认用户名为admin，密码是您在提供过程中输入的内容。仪表板是这样的：

要运行Hive查询

1。 要创建一个Hive表映射到HBase的表，在下面输入HiveQL脚本到Hive控制台窗口，然后点击提交按钮。请确保您已创建使用HBase的壳牌执行该语句之前此处引用的HBase中的sampletable。

CREATE EXTERNAL TABLE hbasesampletable(rowkey STRING, col1 STRING, col2 STRING)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ('hbase.columns.mapping' = ':key,cf1:col1,cf1:col2')
TBLPROPERTIES ('hbase.table.name' = 'sampletable');

 

2.要执行一个Hive查询在数据中的HBase的，输入下面的HiveQL脚本到Hive控制台窗口，然后点击提交按钮。

SELECT count(*) FROM hbasesampletable;

 

3.要检索Hive查询的结果，请单击当作业完成执行作业会话窗口中查看详细信息链接。


注：HBase的外壳链接切换标签到HBase的外壳。

浏览输出文件

1.从群集面板，单击文件从顶部。
2.Click普顿 - 求职状态。
3.Click拥有的最后修改时间作业开始时间之前记录下来后，一点点的GUID数。记下此GUID的。你会需要它在下一节。
4，标准输出文件中有你需要在接下来的章节中的数据。您可以单击标准输出，如果你想下载的数据文件的副本。

使用HBase的REST客户端库.NET C＃API从表中创建一个HBase的表和检索数据

 

微软HBase的REST客户端库.NET项目必须从GitHub的建成使用HBase的.NET SDK项目下载。下面的过程包括用于此任务的指示。
1. Downnload微软HBase的REST客户端库.NET，如果你还没有满足这一前提条件。

2.打开Marlin.sln在Visual Studio中（文件 - >项目/解决方案... - >打开），从它被下载到的位置。选择查看 - >解决方案资源管理器中看到的“马林”的解决方案及其Microsoft.HBase.Client项目。构建马林项目通过在Solution Explorer中右击它并选择生成解决方案。

3.创建一个新的Visual C＃控制台应用程序。检索建（从...\ BIN\调试\ Microsoft.HBase.Client目录）所产生的Microsoft.HBase.Client.dll和protobuf.dll并将它们添加到您的C＃项目：在引用单击鼠标右键，选择添加引用...，浏览到两个组件，并将其上传。 protobuf网是一个.NET实现了谷歌的Protocol Buffers的二进制序列的用于数据通信。

4.添加以下using语句上的文件的顶部：

using Microsoft.HBase.Client;
using org.apache.hadoop.hbase.rest.protobuf.generated;

5.使用群集凭据创建HBase的客户端的新实例和检索集群版本：

// Create a new instance of an HBase client.
var creds = new ClusterCredentials(new Uri("https://myclustername.azurehdinsight.net"), "myusername", "mypassword");
var client = new HBaseClient(creds);

// Retrieve the cluster version
var version = client.GetVersion();
Console.WriteLine(version);

6.要创建一个新的HBase的表，使用此代码：

// Create a new HBase table.
var testTableSchema = new TableSchema();
testTableSchema.name = "mytablename";
testTableSchema.columns.Add(new ColumnSchema() { name = "d" });
testTableSchema.columns.Add(new ColumnSchema() { name = "f" });
client.CreateTable(testTableSchema);

7.将数据与该代码表：

// Insert data into a table.
var tableName = "mytablename";
var testKey = "content";
var testValue = "the force is strong in this column";
var set = new CellSet();
var row = new CellSet.Row { key = Encoding.UTF8.GetBytes(testKey) };
set.rows.Add(row);

var value = new Cell { column = Encoding.UTF8.GetBytes("d:starwars"), data = Encoding.UTF8.GetBytes(testValue) };
row.values.Add(value);
client.StoreCells(tableName, set);

8.要检索的细胞，其键，使用此代码。

// Retrieve a cell with its key.
var testKey = "content";
var tableName = "mytablename";

var cells = client.GetCells(tableName, testKey);
// get the first value from the row.
.WriteLine(Encoding.UTF8.GetString(cells.rows[0].values[0].data));
// with the previous insert, it should yield: "the force is strong in this column"

9.扫描了与下面的代码表中的行：

//Scan over rows in a table.
var creds = new ClusterCredentials(new Uri("https://myclustername.azurehdinsight.net"), "myusername", "mypassword");
var client = new HBaseClient(creds);

var tableName = "mytablename";

// assume the table has integer keys and we want data between keys 25 and 35
var scanSettings = new Scanner()
{
    batch = 10,
    startRow = BitConverter.GetBytes(25),
    endRow = BitConverter.GetBytes(35)
};

var scannerInfo = client.CreateScanner(tableName, scanSettings);
CellSet next = null;
while ((next = client.ScannerGetNext(scannerInfo)) != null)
{
    foreach (var row in next.rows)
    {
        // ... read the rows
    }
}

 

总结

在本教程中，你已经学会了如何提供一个HBase的集群，如何创建表，并查看了HBase的外壳这些表中的数据。还学习了如何使用Hive来查询HBase的表和如何使用HBase的C＃API从表中创建一个HBase的表和检索数据的数据。

下一步是什么？

HDInsight HBase的概述：HBase的是建立在Hadoop的Apache的开源的NoSQL数据库，提供了大量的非结构化和半结构化数据的随机存取和强大的一致性。

提供HBase的集群在Azure虚拟网络：随着虚拟网络集成，HBase的集群可以部署到同一个虚拟网络作为你的应用程序，使应用程序可以直接与HBase的沟通。

与HBase的在HDInsight分析Twitter的感悟：学习如何做在HDInsight的Hadoop集群使用HBase的大数据的实时情感分析。

本文翻译自Microsoft Azure：http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hbase-get-started/