Cassandra与Hadoop整合

       本文采用hadoop1.0.3和Cassandra1.2.0，以Cassandra源码给的WordCount为例说明。关于hadoop与cassandra的相关知识就不废话了，直接进入主题。

       Cassandra与Hadoop整合先从cassandra读取数据，进行Map/Reduce，将结果输出到HDFS或Cassandra。

       从Cassandra读取数据这个过程需要将Cassandra数据转化成Hadoop的InputSplit。此过程是Hadoop在 JobTracker.submitJob()后调用ColumnFamilyInputFormat的getSplits(JobContextcontext)方法完成的。getSplits先获取所配置服务器的TokenRange列表。TokenRange列表与 cassandra.yaml中num_tokens配置有关，TokenRange数=节点数*num_tokens，即有4节点的集群，每个节点的num_tokens=256，那TokenRange数有4*256=1024个；随后调用 SplitCallable.getSubSplits(String keyspace, String cfName,TokenRange range, Configuration conf)将TokenRange分成更小的CfSplit；CfSplit的大小跟配置"cassandra.input.split.size"和现有cassandra数据有关，如果某个TokenRange没有数据，只返回1个CfSplit，如果有数据，根据"cassandra.input.split.size"和现有cassandra数据(具体算法暂没研究)返回CfSplit的个数。再将 CfSplit转成ColumnFamilySplit，ColumnFamilySplit是InputSplit的子类。Cassandra与Hadoop数据对应关系如下图。