什么是大数据，大数据工具有那些，大数据流程是什么样的 一

什么是大数据，这里从技术层面说不应该是说什么是大数据,应该说什么是hadoop。

 

上图是hadoop常用的应用架构，初学者一看可能有点蒙，这么多，人都看晕了。下面用大数据的应用流程来说明下这些组件，看这些

组件是怎么结合起来实现大数据的技术应用。

 

 

以上图展示了平时的三种场景 全新数据采集、原有数据同步、运行时数据信息

     一般业务流程

     现在大多数爬虫都是用python和java

     python 常用是 urllib 组件。

     java 常用 WebCollector 组件。

     将爬取的数据写入mongodb或hbase中。

       从真实意义上来说mongodb并不属于hadoop体系中，但是从存储格式和使用上来说和hbase是一样的。hbase属于hadoop体系中的组件，底层是使用的hdfs分布式文件系统。

   两种数据存储方式都可以通过和mapreduce spark 结合清洗或重组数据。

   清洗完成数据以后放入solr或elasticsearch中提供给业务层调用。