从Cassandra读取数据进行Map/Reduce的实现方法

 

本文以Cassandra 0.8中的hadoop_word_count为例：

https://svn.apache.org/repos/asf/cassandra/branches/cassandra-0.8/examples/hadoop_word_count/

 

需要安装插件：mapreducetools

下载地址：http://www.alphaworks.ibm.com/tech/mapreducetools

解压缩后将这个插件放入到eclipse安装目录下的plugins目录下。

需要重启eclipse。

 

将编译Cassandra所生产的所有jar包都拷贝到WordCout目录下。

 文件说明：

WordCount2.java为一个纯的MapReduce程序。

WordCount.java  从Cassandra中读出数据进行计算然后存放到本地或者hdfs或者Cassandra中。

WordCountSetup.java 在Cassandra中创建Shcema，插入测试数据。