七年磨一剑:Apache HBase 1.0正式发布

Apache HBase是一个高性能、面向列、可伸缩的开源分布式NoSQL数据库,它是Google Bigtable的开源实现。HBase构建在Hadoop基础设施之上,用户使用它能够在廉价PC Server上搭建起大规模结构化存储集群。近日,从Apache基金会官方博客中得知,经过了七年的开发,HBase 1.0版本正式发布。相对于先前的版本,该版本实现了1500项改进,且保持向后兼容。该版本值得关注的改进包括:

\\
  • 性能提升,在保持之前的稳定性的情况下,实现了性能的提升\\t
  • 新增了API和对客户端API进行了重组和改变\\t
  • 使用时间轴一致区域副本以达到新的可用性保证\\t
  • 联机配置进行了改进,从而在无需重启区域服务器的情况下,就能够重新加载服务器配置的子集\\t
  • 完善了相关文档,增强了可使用性\

HBase 1.0版是一个稳定版本,可以用于生产环境,而对于0.98.x系列版本,HBase开发团队仍然会继续维护和开发。此外,HBase团队将会陆续发布1.0.x系列版本、1.x系列版本以及2.0版本等,同时新增一些大家一直期待的功能。

\\

HBase项目的副总裁Michael Stack评论到:

\\
\

1.0版本在HBase的发展历程是一个重要的里程碑,这是一个值得纪念的时刻,为其做出贡献的相关人员都应该感到骄傲和自豪。由于大家的共同努力,才使得HBase能够支撑重要的大型互联网平台。

\
\\

Pinterest的首席架构师Raghavendra Prabhu评论到:

\\
\

在Pinterest,HBase是一个关键的数据存储系统,Pinterest通过使用HBase运行着成千上万个节点,并实现了将近每秒上千万次操作。HBase是Pinterest的Zen图片存储服务的重要基础支撑技术,其还支撑着Pinterest的一些核心产品功能,如主页更新、消息、通知、网络新闻等。Pinterest热切期待着HBase 1.0在可用性和可靠性方面的改进。此外,Pinterest仍将继续与HBase开发社区一起致力于对HBase的改进工作,以满足大规模面向用户的工作负载。

\
\\

HBase项目管理委员会成员兼HBase 1.0版本的项目经理Enis Söztutar还撰写了一篇题为《Apache HBase 1.0:一个新时代的开始》的文章。在文章中,Enis Söztutar针对HBase 1.0所实现的值得关注改进做了详细讲解。他指出发布HBase 1.0主要目的如下:

\\
  • 为未来的1.X系列版本打下稳定的基础\\t
  • 稳定运行HBase集群及其客户\\t
  • 使得HBase版本管理和兼容性更加明确\

Enis Söztutar还指出了HBase的发展历程。于2007年,HBase作为Hadoop的一个子项目开始出现;3年后,其成为了Apache的顶级项目。HBase的发展历程如下图所示:

\\

ac233dd2df70cbb00ea0bce05b2cc5f2.jpg

\\

当前,依托于Hadoop的迅猛发展,HBase在大数据领域的应用越来越广泛。HBase的用户包括众多国内外公司和组织,如苹果、Facebook、美国金融业监管局FINRA、移动市场分析公司Flurry、全球CRM和云计算领导者Salesforce、雅虎、小米、淘宝、百度等。

\\

感谢郭蕾对本文的审校。

\\

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Geomesa可以很方便地集成HBase和Spark,实现对HBase的读写操作。具体步骤如下: 1. 首先需要在HBase中创建表,可以使用HBase shell或者HBase API进行创建。 2. 在Spark中引入Geomesa的依赖,可以使用Maven或者SBT进行引入。 3. 使用Geomesa提供的HBaseDataStoreFactory创建HBaseDataStore对象,连接到HBase中的表。 4. 使用Spark的API读取HBase中的数据,可以使用RDD或者DataFrame进行读取。 5. 使用Geomesa提供的HBaseFeatureWriter将数据写入到HBase中。 需要注意的是,在使用Geomesa进行读写HBase时,需要使用Geomesa提供的SimpleFeature类型进行操作。同时,需要在HBase中创建相应的列族和列,以存储SimpleFeature对象的属性值。 ### 回答2: Geomesa是一个基于地理空间数据管理和分析的开源工具。它集成了HBase和Spark,可以实现读写HBase的功能。 在Geomesa中,HBase作为数据存储和查询的主要工具,Spark则用于并行计算和数据处理。通过这种方式,HBase可以实现大规模的数据存储和高效的数据查询,而Spark可以进行并行计算和数据处理,提高数据分析的效率。 在使用Geomesa集成HBase和Spark进行读写HBase的时候,需要进行以下操作: 1. 配置HBase和Spark的环境:为了保证Geomesa正常运作,需要正确配置HBase和Spark的环境。具体的配置方式可以参考Geomesa的官方文档。 2. 读写HBase数据:通过Geomesa的API,可以实现对HBase数据的读写操作。其中,读操作可以通过Scan类进行,而写操作可以通过Put和Delete类进行。 3. 创建和管理数据表:在Geomesa中,可以通过SimpleFeatureType类来定义数据表结构,并且可以使用Spark和HBase的API来实现数据表的创建和管理。 4. 进行空间查询和空间分析:Geomesa支持空间查询和空间分析的功能,可以通过Spark和HBase的API来实现。 以上就是使用Geomesa集成HBase和Spark进行读写HBase的基本操作流程。通过这种方式,可以实现高效、灵活、可扩展的地理空间数据处理和分析,为地理信息系统的应用提供了强有力的支持。 ### 回答3: geomesa是一个基于Apache Spark和Apache Accumulo的开源地理空间数据分析框架。它提供了丰富的地理空间分析功能,并支持海量地理数据的处理。随着geomesa社区的发展,它也开始支持其他的后端存储引擎,例如HBase。 geomesa集成HBase和Spark的主要目的是为了在HBase中存储和查询大规模地理数据,并通过Spark进行批量计算和实时分析。这种集成方式可以实现高效的数据处理和快速的响应时间,尤其适用于对海量地理数据进行地理空间分析和挖掘的场景。 在geomesa中使用HBase的过程主要包括以下几个步骤: 1. 安装HBase和Spark 在使用geomesa之前,需要先安装和配置HBase和Spark环境。HBase是一个开源分布式数据库,可以存储和管理大量的结构化数据;Spark是一个快速的大数据处理引擎,可以进行批量计算和实时分析。 2. 安装geomesa geomesa是一个基于Spark和Accumulo的地理空间分析框架,可以在Spark中快速地进行大规模地理数据的处理和分析。安装geomesa的过程很简单,只需要下载并解压缩geomesa的安装文件即可。 3. 创建HBase数据表 在使用geomesa之前,需要先在HBase中创建相应的数据表。通常情况下,geomesa会为每个表创建两个列族,一个是属性列(attributes),用于存储地理对象的属性信息;另一个是空间列(spatial),用于存储地理对象的空间信息。 4. 使用geomesa创建地理数据集 在HBase中创建好数据表之后,需要使用geomesa创建相应的地理数据集(SimpleFeatureType)。geomesa提供了多种不同类型的SimpleFeatureType,可以根据实际需求选择相应的类型。 5. 将地理数据写入HBase 将地理数据写入HBase的过程很简单,只需要借助geomesa提供的API即可。geomesa支持将地理数据写入HBase和从HBase中读取地理数据。写入数据时,需要指定相应的地理数据集和HBase表,geomesa会自动将数据按照指定的格式写入HBase。 6. 从HBase中读取地理数据 从HBase中读取地理数据的过程同样也很简单,只需要借助geomesa提供的API即可。读取数据时,需要指定相应的地理数据集和HBase表,geomesa会自动从HBase中读取数据,并将数据以相应的格式返回。 以上就是geomesa集成HBase和Spark读写HBase的主要步骤,通过这种方式可以实现高效的海量地理数据处理和分析。但在实际应用中,还需要考虑数据安全、性能优化等方面的问题。因此,在使用geomesa时需要根据实际需求进行相应的优化和配置。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值