- 博客(5)
- 收藏
- 关注
RSS订阅原创 storm入门之矩阵乘法程序
最近开始学storm，模仿《get started with storm》中给出单词计数的例子改写了一个进行矩阵乘法运算的storm程序，用以入门storm，下面是代码及注释首先构造一个Topologyimport org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.t
2016-11-20 16:57:49
511
原创 Spark源码分析之Akka的启动
Akka是Actor编程模型的库，用于提供高并发的Actor编程模型，Spark即利用ActorSystem实现分布式消息的发送和并发编程。下面将通过源码分析来观察Spark中ActorSystem的创建与启动。首先在SparkEnv.scala中 // Create a ActorSystem for legacy codes，即通过AkkaUtils.createActo
2016-11-13 14:33:47
1546
原创 spark java程序入门（三）外部程序调用
在编写spark程序时可能会需要调用已经写好的程序，而有时该外部程序的源码适用的语言可能并不适用于spark或者可能拿不到程序的源码，这时候就会需要进行外部程序的调用。这里我们以spark的java独立应用调用hspice为例说明整个调用过程。下面是调用hspice的java类import java.io.Serializable;import java.util.Arr
2016-10-30 15:02:34
3323
原创 Spark java程序入门（二）创建RDD与查看RDD内容
使用Spark需要RDD编程，而RDD编程的第一步就是构建RDD有两种方法创建RDD（1）从文件系统中直接读入一个外部数据集， 一个简单的例子，比如 JavaRDD input = sc.textFile("文件路径"); //文件路径的写法根据所使用的不同的文件系统有所变化（2）从驱动器程序里分发对象集合。 有不少情况下，并不需要程序的每一步都使用
2016-10-16 13:25:54
6497
原创 Spark java程序入门（一）初始化spark
把提交spark独立应用时需要初始化spark，告知spark要运行的应用的名字，运行方式，jar包的主类等等一、在自己的独立应用中使用spark的方法在代码中初始化spark：SparkConf conf = new SparkConf(); //新建SparkConf对象,通过设置键值对的方式配置spark的运行（具体见下方
2016-10-16 10:50:27
2347
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人