- 博客(5)
- 收藏
- 关注
RSS订阅Spark通过CQL读取写入Cassandra数据
之前两篇文章，简单的介绍了使用Spark通过CLI来进行读写Cassandra数据。在这一篇中，将介绍使用新的CQL来进行读取写入数据。 第一步，还是一样的去配置SparkContext，唯一的区别是使用的InputFormat不同。在Cli中使用的是ColumnFamilyInputFormat，而在这里将使用的是CqlPagingInputFormat。除了这两个类之外，还有CqlR...
2013-11-16 21:15:51
549
Spark通过CLI写入Cassandra
上一篇（隔得实在有点远）讲到了通过使用Cassandra原生的CLI接口将数据读入了Spark的RDD中，在这篇中，我们将了解如何将数据通过Spark的RDD写入到Cassandra中。 与读取相同的步骤，我们一开始需要初始化SparkContext，以及使用的Cassandra实例的地址，端口，keyspace，columnfamily和partitioner。如下 va...
2013-11-16 11:04:25
250
原创 在Spark上使用CLI读取Cassandra数据
最近在研究将Spark架设到Cassandra之上。发现这方面的信息比较少，在学习的过程中也遇到了不少问题，因此在此记录下，也和大家分享。此例为最经典的WordCount示例。首先我先说下我所使用的各种环境和版本。由于Spark和Cassandra更新较快，如果之后版本有异可能运行不能成功需要一些微调。暂时使用的是Windows 7， 之后会转到Linux平台，但是这个影响不大。使用的...
2013-10-12 23:43:59
190
原创 使用HttpClient4.X模拟浏览器登录使用Google Alert(二)
终于算是熬到了礼拜五了，写了一天的文档，都快疯掉了。在前一篇文章中我们已经完成了登录操作，现在我们就继续登录之后的操作，比如创建Alert，修改Alert，删除Alert。这里的操作基本上都是差不多的，所以我们就简单说下创建Alert。创建Alert也同样是发送POST请求。所有的操作基本上都和之前的登录操作差不多，获取HTTP POST地址，添加HTTP Header，然后发送请...
2013-09-13 22:30:15
206
原创 使用HttpClient4.X模拟浏览器登录使用Google Alert(一)
最近使用Google Alert,然后就想自己做点东西,结果悲剧的发现Google Alert居然没有提供API给开发者直接使用.无比蛋疼之余只好尝试着使用HttpClient来模拟浏览器行为进行登录，伪造一份Google Alert API出来使用.这种方法的好处在于，就程序所获得的信息基本和我们从浏览器看到的信息差不多，问题就在于一旦访问量大了的话，Google会做出反应的。接...
2013-09-11 14:01:31
352
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人