Cassandra与Hadoop整合

最新推荐文章于 2024-07-29 18:01:05 发布

零下九度

最新推荐文章于 2024-07-29 18:01:05 发布

阅读量3k

点赞数 1

分类专栏： Cassandra NoSQL 文章标签： cassandra hadoop

本文链接：https://blog.csdn.net/limingjian/article/details/9359241

版权

本文以Cassandra1.2.0和Hadoop1.0.3为例，阐述如何整合两者进行Map/Reduce操作。内容包括从Cassandra读取数据，使用SlicePredicate和IndexExpression进行条件查询，MapTask的执行过程，以及WordCount应用的Map阶段分析。

摘要由CSDN通过智能技术生成

本文采用hadoop1.0.3和Cassandra1.2.0，以Cassandra源码给的WordCount为例说明。关于hadoop与cassandra的相关知识就不废话了，直接进入主题。

Cassandra与Hadoop整合先从cassandra读取数据，进行Map/Reduce，将结果输出到HDFS或Cassandra。

从Cassandra读取数据这个过程需要将Cassandra数据转化成Hadoop的InputSplit。此过程是Hadoop在 JobTracker.submitJob()后调用ColumnFamilyInputFormat的getSplits(JobContextcontext)方法完成的。getSplits先获取所配置服务器的TokenRange列表。TokenRange列表与 cassandra.yaml中num_tokens配置有关，TokenRange数=节点数*num_tokens，即有4节点的集群，每个节点的num_tokens=256，那TokenRange数有4*256=1024个；随后调用 SplitCallable.getSubSplits(String keyspace, String cfName,TokenRange range, Configuration conf)将TokenRange分成更小的CfSplit；CfSplit的大小跟配置"cassandra.input.split.size"和现有cassandra数据有关，如果某个TokenRange没有数据，只返回1个CfSplit，如果有数据，根据"cassandra.input.split.size"和现有cassandra数据(具体算法暂没研究)返回CfSplit的个数。再将 CfSplit转成ColumnFamilySplit，ColumnFamilySplit是InputSplit的子类。Cassandra与Hadoop数据对应关系如下图。