2017年05月_蜡笔小新hyp

10月 09月 08月 07月 06月 05月 04月

原创 PrintWriter FileNotFoundException

scala写入文件：val percentPath="test/percent.txt"val bw = new PrintWriter(new FileWriter(percentPath))//val bw = new PrintWriter(new FileWriter("test/percent.txt"))bw.write("test" )bw.close()在集群上运行时报异常

2017-05-26 17:07:59 754 1

原创 Spark开发笔记（二）

jdk,jre,jvm的区别参考http://java-mzd.iteye.com/blog/838514做Java开发的，就要做Java环境的搭建，而Java环境根据需要又分为：开发环境和运行环境。开发环境需要安装JDK，运行环境需要安装JRE（如果安装了JDK，则无需再安装JRE）刷新与clear build的区别在scalaIDE中编写代码时找不到jar包，找不到类，重新clea

2017-05-19 15:13:10 333

原创 Spark开发笔记（2017-05-04)

在一个rdd操作中是不能同时操作另一个rdd的。你是想 valuesRdd 里面每个值对于dicRdd 进行过滤,但是在分布式系统里面,每个RDD数据集都切割分发到各个分布式机器虚拟机jvm里,每一个jvm里的数据集不一样,所以,从jvm的角度来看,它是没办法在一块数据集里面操作另外一个整体的RDDvaluesRdd.foreach { i =>val samevalueKeys = dicRd

2017-05-05 16:51:35 625

原创 Spark笔记

spark程序的工作流程从外部数据创建出输入RDD使用诸如filter()这样的转化操作对RDD进行转化，已定义新的RDD告诉Spark对需要被重用的中间结果RDD执行peisist()操作使用行动操作（例如count()和first（）等）来触发一次并行操作，Spark会对计算进行优化后再执行向spark传递函数传递的函数及其引用的数据需要时可序列化的（实现了java的Serializ

2017-05-05 16:21:44 413