中小企业的大数据技术路线选择

中小企业的大数据技术路线选择

        目前，大数据主要应用在互联网、电商领域，电信、电力行业也在逐步使用。对广大的中小企业来说，大数据也听得太多了。然而，大数据的技术门槛还是很高的。从技术路线上来说，选择大公司使用的技术方案可能是不能承受之重。

       笔者所在的公司，选择的是行业通用的Hadoop方案。历经一年之久，前后三拨人员，一个Demo版还没出来。大数据真的让人望眼欲穿啊。

       对中小企业而言，要选择适合自己的大数据技术路线。跟着大公司，人云亦云，还真玩不起。那么，有没有适合中小企业的大数据方案呢？笔者用心收集了几个，供参考。

       1、Cassandra+Presto

       Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，集GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身Facebook于2008将 Cassandra 开源，此后，由于Cassandra良好的可扩放性，被Digg、Twitter等知名Web 2.0网站所采纳，成为了一种流行的分布式结构化数据存储方案。

     Cassandra主要特性：

• 分布式
• 基于column的结构化
• 高伸展性

 

      Cassandra提供了以下功能：

• 模式灵活
• 可扩展性
• 多数据中心
• 范围查询
• 列表数据结构
• 分布式写操作
• 一致性Hash
• GoSSIP协议简化集群管理
• 实时更新
• 高效的二级索引
• 高效的数据压缩

        

      Presto是一个用Java语言开发的、开源的“交互式”SQL查询引擎。它由Facebook构建，即Hive最初的创建者。Presto采用的方法类似于Impala，即提供交互式体验的同时依然使用已有的存储在Hadoop上的数据集。它也需要安装在许多“节点”上，类似于Impala。Presto提供了以下功能：

• ANSI-SQL语法支持 (可能是ANSI-92)
• JDBC 驱动
• 一个用于从已有数据源中读取数据的“连接器”集合。连接器包括：HDFS、Hive和Cassandra
• 与Hive metastore交互以实现模式共享

      Presto/Cassandra的整合： Ad-hoc analysis over Cassandra data with Facebook Presto 

http://blog.csdn.net/china_world/article/details/39966699

   

         2、 Trafodion:Transactional SQL on HBase

       

       Trafodion是由惠普赞助的一个开源项目，培养在惠普实验室和HP-IT开发一个企业级的SQL上的HBase解决方案，针对大数据的事务或业务工作负载。 Trafodion是在Apache许可证授权，版本2.0。Trafodion建立在可扩展性，弹性和Hadoop的灵活性上。 Trafodion Hadoop的扩展提供保证事务的完整性，使各种新的大数据应用在Hadoop上运行。

Key Features of Trafodion Full-functioned ANSI SQL language support JDBC/ODBC connectivity for Linux/Windows clients ACID distributed transaction protection across multiple statements, tables and rows Performance improvements for OLTP workloads with compile-time and run-time optimizations Support for large data sets using a parallel-aware query optimizer

Key Benefits of Trafodion Reuse existing SQL skills and improve developer productivity Distributed ACID transactions guarantee data consistency across multiple rows and tables Interoperability with existing tools and applications Hadoop and Linux distribution neutral Easy to add to your existing Hadoop infrastructure