FusionInsight

作者：知乎用户
链接：https://www.zhihu.com/question/33570348/answer/187976691
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

一个电脑，要考虑它的存储，那么FusionInsight HD是怎么实现存储呢？用HDFS.我最早接触过磁盘阵列，一个主机上插了32块硬盘，7*24小时的存储视频监控录像。我去拔掉一块硬盘，也不会丢失哪怕一秒的录像。插回去它还能接着存。一个由数百个服务器组成的集群也应该这样，因为设备多了，那么故障就是常态。业务不能断，数据不能丢，一个服务器挂了怎么办？一秒钟上TB的数据吞吐量服务器卡了怎么办？各种问题，都是用HDFS解决的。有了存储，那么怎么去调用他很麻烦，就像我的书橱里那么多书，遇事不决还是要问百度一样。我们还需要搜索引擎，还需要数据库。FusionInsight HD使用了solr，hive， hbase等组件。人类搞的人工智能，基础是机器学习，让一个电脑一次次的去判断一个照片是不是猫，然后自己寻找规律最终具备判断照片里面那个东西是不是猫的能力。这又是怎么实现的呢？FusionInsight HD就使用了MapReduce，spark,,Streaming,storm这些基础算法，然后支持Graohx图形处理算法和mlibmachinlearning机器学习算法就有可能让这个集群学会辨认猫的照片。能存储，能计算，这事情就差不多了，不过有人的地方就有江湖，电脑也一样。谁当老大，谁来管理？没有管理怎么让这些个算法按照人类的意愿去跑起来呢？那么多服务器，CPU，内存，存储资源都贡献出来了，谁先用，怎么用，用多少各种问题。FusionInsight HD的硬件资源管理，主要是yarn实现的，算法管理oozie实现的，还有一个玩意叫zookeeper，动物园管理员？这个是系统的仲裁者，比如哪个服务器做主机，哪个当备胎之类的事情由zookeeper裁决。到这里就搞得七七八八了，既然是商用，那么安全性，可靠性，易用性总是要考虑的。那就是Kerberos&ldpa负责加密认证，manager负责提供一个webui给人类一个图形化的操作界面了，图形化的哦，不用敲太多命令哦～讲到这里，就是跟大家谈下个人对学习FusionInsight这个事情。我做了一套思维导图。首先是学习路线图。

学习的思路是先了解大数据，hadoop,FusionInsight这些事情。然后学习系统的组成，和每个部分功能及实现的原理。


只有把整个系统的思想吃透了，才能根据实际情况去设计、

部署

实现它。

至于硬件施工，安装服务器，布线，组网、加电这些事情并不难。而怎么部署FusionInsight系统比较难，难就难在需要了解整个FusionInsight的各个组成部分和实现机制才能理解其集成设计到部署的整个过程