本文采用hadoop1.0.3和Cassandra1.2.0,以Cassandra源码给的WordCount为例说明。关于hadoop与cassandra的相关知识就不废话了,直接进入主题。
Cassandra与Hadoop整合先从cassandra读取数据,进行Map/Reduce,将结果输出到HDFS或Cassandra。
从Cassandra读取数据这个过程需要将Cassandra数据转化成Hadoop的InputSplit。此过程是Hadoop在 JobTracker.submitJob()后调用ColumnFamilyInputFormat的getSplits(JobContextcontext)方法完成的。getSplits先获取所配置服务器的TokenRange列表。TokenRange列表与 cassandra.yaml中num_tokens配置有关,TokenRange数=节点数*num_tokens,即有4节点的集群,每个节点的num_tokens=256,那TokenRange数有4*256=1024个;随后调用 SplitCallable.getSubSplits(String keyspace, String cfName,TokenRange range, Configuration conf)将TokenRange分成更小的CfSplit;CfSplit的大小跟配置"cassandra.input.split.size"和现有cassandra数据有关,如果某个TokenRange没有数据,只返回1个CfSplit,如果有数据,根据"cassandra.input.split.size"和现有cassandra数据(具体算法暂没研究)返回CfSplit的个数。再将 CfSplit转成ColumnFamilySplit,ColumnFamilySplit是InputSplit的子类。Cassandra与Hadoop数据对应关系如下图。