happyoooo的博客

---Zookeeper 与 Hdfs中的Namenode主节点的关系。如下图，客户端A+客户端B 同时发起 修改+删除操作，为了保持目标表在3个主节点Namenode的数据都一样，出现了Zookeeoper组件。：简单来说，就是一群独立计算机集合起来共同对外提供服务，但是对于系统的用户来说，就像是一台计算机在提供服务一样。按顺序给出数据存储单位：bit 、Byte(字节) 、KB、MB、GB、TB、PB、EB、ZB。分布式：多台计算机通过网络连接在一起，但每台计算机上的工作内容及数据，是不同的。

-----------------------------------------需要写一个特别专业的 MapReduce 分布式处理的程序才能运行，不能写sql运行。-------------------------------------------------------以上为 简单可行的单机方案。-------------------------------------Spark经常被用来和Hadoop中的MapReduce做对比。

原因: 某一个数据值 过多。hive sql数据倾斜。