大数据挖掘分析工具集

大数据时代需要大数据挖掘，我习惯把大数据分成四个领域：数据科学、网络科学、空间地理科学和可视化技术。

最近的主要兴趣在空间地理领域，学习如何获取POI，Polygon，经纬度，空间匹配算法和可视化，一个全新领域有带来诸多大数据分析工具的思考和整合。

恰巧看到一篇国外博客列举了大数据领域的分析工具，今天就接着把数据分析主要是大数据挖掘的工具集写下来，顺势俺再总结一下。

我了解和喜欢的大数据挖掘工具主要分成：提取，存储，清洗，挖掘，可视化，分析和集成语言领域。

Part 1

数据存储和管理

如果你要使用大数据，你需要考虑如何存储它。大数据个人一般玩起来常常是几百兆、或G；当然企业级就可能不是这个侧面了，T或P级，一个好的数据存储提供商应该为您提供一个基础架构，在其上运行所有其他分析工具以及存储和查询数据的地方。

对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解

想学习的同学欢迎加入大数据学习qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家

并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。

Hadoop

Hadoop已经成为大数据的代名词。它是一个用于在计算机集群上分布式存储大型数据集的开源软件框架。这意味着可以上下扩展数据，而无需担心硬件问题。Hadoop为任何类型的数据提供大量的存储，巨大的数据处理能力和处理虚拟无限并发任务或作业的能力。Hadoop不适合数据初学者。要真正利用它，真的需要知道Java编程。

Cloudera

Cloudera本质上是一个Hadoop的品牌名称。它们可以帮助企业构建企业数据中心，以便您组织中的人员更好地访问您存储的数据。

虽然它是开源，Cloudera主要还是企业解决方案，帮助企业管理他们的Hadoop生态系统。基本上，利用它管理Hadoop很多艰苦的工作。还可提供一定量的数据安全性，如果您存储任何敏感或个人数据，这是非常重要的。

MongoDB

MongoDB的是现代，流行的非结构化数据库，但又可视为关系数据库的替代品。它适用于管理经常更改的数据或非结构化或半结构化的数据。

 

常见应用包括存储移动应用程序的数据，产品目录，实时个性化，内容管理和跨多个系统提供单个视图的应用程序。MongoDB也不适合数据新手，与任何数据库一样，您需要知道如何使用编程语言进行查询。

Talend

Talend是另一个伟大的开源数据库，提供了大量的数据产品。这里我们专注于他们的主数据管理（MDM-元数据管理）产品，它将实时数据，应用程序和过程集成与嵌入式数据质量和管理相结合。

 

它是开源的，Talend是完全免费的，Talend都是一个很好的选择。它可以节省您构建和维护自己的数据管理系统 ——这是一个非常复杂和困难的任务。<