今天开始采用的十大大数据技术

大数据正在爆炸式增长，每天都有来自世界各地的公司涌现出新的项目。

好消息是，所有技术都是开源的，可供您今天开始采用。

Hadoop

稳固，企业实力和其他一切的基础。您需要YARN和HDFS以及Hadoop的基础架构作为主要数据存储并运行关键的大数据服务器和应用程序

Spark

易于使用，支持所有重要的大数据语言（Scala，Python，Java，R），一个庞大的生态系统，快速增长，易于微缩/批处理/ SQL支持。这是另一个明智的选择。

在这里还是要推荐下我自己建的大数据学习交流群:529867072，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴加入。

NiFi

• NSA的工具，允许从这么多来源轻松地进行数据摄取，存储和处理，只需极少的编码和灵活的用户界面。来自社交媒体，JMS，NoSQL，SQL，Rest / JSON Feeds，AMQP，SQS，FTP，Flume，ElasticSearch，S3，MongoDB，Splunk，Email，HBase，Hive，HDFS，Azure Event Hub，Kafka等的数十种来源。如果没有您需要的源或接收器，那么为您编写自己的处理器是直接的Java代码。您工具箱中的另一个伟大的Apache项目。这是瑞士军刀大数据工具。

Apache Hive 2.1

Apache Hive一直是Hadoop上的SQL解决方案。通过最新版本，性能和功能增强，Hive成为大数据SQL的解决方案。

Kafka

• 大数据系统之间异步分布式消息传递的选择。它融入了大多数堆栈。从Spark到NiFi再到第三方工具，从Java到Scala，它是系统之间的一个很好的粘合剂。这需要在你的堆栈中。

Phoenix

HBase -开源的BigTable，大量公司致力于HBase并使其规模庞大。NoSQL由HDFS支持，并与所有工具完美集成。在HBase上添加凤凰城的建设正在使其成为NoSQL的首选。这为HBase添加了SQL，JDBC，OLTP和操作分析。

Zeppelin

• 易于集成的笔记本工具，用于处理Hive，Spark，SQL，Shell，Scala，Python以及大量其他数据探索和机器学习工具。它非常容易使用，也是探索和查询数据的好方法。该工具正在获得支持和功能。他们只需要提升他们的图表和绘图。

H2O

H2O填补了Spark的机器学习的空白，并且正常工作。它可以完成您所需的所有机器学习。

Apache Beam

Java中数据处理管道开发的统一框架。这允许您也支持Spark和Flink。其他框架将上线，您不必学习太多框架。

Stanford CoreNLP

自然语言处理是巨大的，只是增长更多。斯坦福大学正在继续改进他们的框架。

显然，有大量的大数据项目，因此您最好的选择是从基础分发开始，该分布包含并测试项目的各个版本，并确保它们与安全性和管理平稳地协同工作。我建议使用Hortonworks Connected Data Platforms作为您的基础。如果我们进入前20名，我会添加更多项目，特别是Storm， SOLR，Apache Oozie和Apache HAWQ。下面有很多很棒的技术，在大多数情况下，你没有看到或知道像Apache Tez（虽然你需要在运行Hive时配置它），Apache Calcite，Apache Slider，Apache Zookeeper和 Livy。这些项目对于运行大数据基础架构至关重要。

转载于:https://juejin.im/post/5d03814be51d454fbe24a675