Scala
iteye_1464
这个作者很懒,什么都没留下…
展开
-
在Spark上使用CLI读取Cassandra数据
最近在研究将Spark架设到Cassandra之上。发现这方面的信息比较少,在学习的过程中也遇到了不少问题,因此在此记录下,也和大家分享。此例为最经典的WordCount示例。 首先我先说下我所使用的各种环境和版本。由于Spark和Cassandra更新较快,如果之后版本有异可能运行不能成功需要一些微调。 暂时使用的是Windows 7, 之后会转到Linux平台,但是这个影响不大。使用的...原创 2013-10-12 23:43:59 · 178 阅读 · 0 评论 -
Spark通过CLI写入Cassandra
上一篇(隔得实在有点远)讲到了通过使用Cassandra原生的CLI接口将数据读入了Spark的RDD中,在这篇中,我们将了解如何将数据通过Spark的RDD写入到Cassandra中。 与读取相同的步骤,我们一开始需要初始化SparkContext,以及使用的Cassandra实例的地址,端口,keyspace,columnfamily和partitioner。如下 va...2013-11-16 11:04:25 · 236 阅读 · 0 评论 -
Spark通过CQL读取写入Cassandra数据
之前两篇文章,简单的介绍了使用Spark通过CLI来进行读写Cassandra数据。在这一篇中,将介绍使用新的CQL来进行读取写入数据。 第一步,还是一样的去配置SparkContext,唯一的区别是使用的InputFormat不同。在Cli中使用的是ColumnFamilyInputFormat,而在这里将使用的是CqlPagingInputFormat。除了这两个类之外,还有CqlR...2013-11-16 21:15:51 · 532 阅读 · 0 评论