HPCC 和 Hadoop 的详细区别比较

本文对比了HPCC和Hadoop在硬件环境、操作系统、系统配置、授权维护费用、核心软件、中间件、系统工具、易部署、分布式文件系统、容错性、执行任务环境、编程语言、集成开发环境、数据库功能、在线查询和数据仓库功能以及扩展性和性能方面的差异。HPCC在某些方面如性能和数据仓库功能上表现优越,而Hadoop则以其开源和广泛使用的特性著称。
摘要由CSDN通过智能技术生成

硬件环境

通常使用基于Intel或AMD CPU的刀片服务器来构建集群系统,为了降低成本可以使用已经停止销售的过时硬件。节点有本地内存和硬盘,通过高速交换机相连(通常为千兆交换机),如果 集群节点很多,也可以使用分层交换。集群内的节点是对等的(所有资源可以简化为相同配置),但这一点并非必须。

操作系统

Linux或windows

系统配置

实现HPCC集群用两种配置:数据加工(Thor)类似于Hadoop的MapReduce集群;数据分发引擎(Roxie)提供了独立的高性能在 线查询 处理功能和数据仓库功能。两种配置都可以用做分布式文件系统,不过它们试图提高性能的实现方法不同。HPCC环境通常由两种配置类型的多个集群组成。虽然 每个集群上的文件系统相互独立,但是一个集群可以访问同一环境下位于其他集群上的文件系统内的文件。

Hadoop系统软件使用MapReduce处理范例实现了集群。这样的集群也可以用做运行HDFS的分布式文件系统。其他的功能都处Hadoop的MapReduce和Hbase,Hive等文件系统软件之上。

授权和维护费用

HPCC:社团版本是免费的。企业版授权费用目前取决于集群大小和系统配置的类型。

Hadoop:免费,不过有多个厂商提供不同的付费的维护服务。

核心软件

HPCC:如果使用了Thor配置,那么核心软件包括安装在集群每个节点上的操作系统和多种服务,它们来实现任务的执行和分布式文件系统的访问。名 字为 Dali的独立服务器提供文件系统名字服务和管理HPCC环境下任务的工作单元。Thor集群可以配置为一个主节点和多个备用节点。Roxie集群是一个 对等连接的集群,它的每个节点可运行服务器和执行查询以及密钥和文件处理的任务代理。Roxie集群的文件系统使用分布式B+树来存储索引和数据,并提供 对加密数据的访问。要对Thor和Roxie集群进行操作的话,附加的中间件组

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值