集群管理和分布式任务 Apache helix

这个题目写的有点大，但是我一直想写一个这方面文章，虽然我没系统学过分布式系统理论，但是接触了这么多分布式系统之后，隐约感觉这些系统有很多共通之处。现在如果我让你开发一个分布式系统，准确点叫分布式task系统，比如从kafka订阅数据，然后写到hdfs，归档。注意不光是能支持某一个topic，不只是固定的partition数目，你该怎么写？

这个需求，其实可以使用jstorm来做，写一些spout就可以了，或者弄个2层结构，spout-bolt，spout拉数据交给bolt,bolt写到hdfs。jstorm本身就是一个分布式计算系统，确切地说是一个流计算系统，任务管理，消息传输，负载均衡，容灾等，都由jstorm框架帮你完成。

那么，如果让你写一个分布式存储系统呢？分布式存储比分布式计算可能要难一点，因为涉及到更多的数据一致性问题，像hdfs,hbase,kafka其实都属于分布式存储系统，每个系统有自己的存储特点和格式，对于hbase和kafka这种更接近数据库类型的系统来讲，写数据意味着把数据交给你管理，每一条都要尽可能保证数