大数据处理之hadoop，spark

hadoop包括大数据的存储和查询，用SQL查询
spark是一种新型的计算大数据的框架。用spark可以替代hadoop的一部分查询功能。
spark主要用于大数据的计算，hadoop主要用于大数据的存储。

hadoop

hdfs：hadoop分布式文件系统。
map/reduce:计算框架，基于它写出来的应用程序能够运行在大型集群上
zookeeper：高可用和可靠的分布式协同系统。
hive：是为提供简单的数据操作而设计的分布式数据仓库，可以用SQL语句查询。
hbase：在hadoop上的可扩展的数据库系统。
core：一套分布式文件系统以及支持MapReduce的计算框架。

hdfs
在多台机器上复制多个副本，包含三种节点：
namenode：处理客户端的读写功能
secondarynamenode：
datanode：


mapreduce


把输入的数据切成一些片段，每个片段执行一个mapping，这些mapping并行执行。mapping需要写代码执行，在经过shuffle，这个过程做很多事情：把mapping的输出按照某个key值重新切分和组合，按照特征的数据放入不同reduce。
代码中写map和reduce过程：