Mr Zhu's little cute

spark中filter函数的一个用法

运行spark时出现：:10: error: not found: value sc出现错误的界面如下图所示：**描述：明明早上以及前几天都用得好好的，下午就频频报错，网上的解决方法挺少，不过，发现了个网站的方法挺齐全。链接如下：最详细的解决方法当然，这几个方法并不适用于我的，毕竟我出错的地方实在是由于本人的马大哈造成的。最后的解决方法：我打开的scala是scla路径下的Scala，...

已有条件：已经安装好hadoop2.7.7和JDK1.8.并且集群可以运行。其中有master，slave1,slave2.安装包：spark-2.4.3-bin-hadoop2.7.tgz（这里要根据自己的情况定）一， 下载安装包上传到主节点master上，并用scp命令将它们传到slave1,slave2的bigdata目录下。如下图所示：二， 分别在三台机器上将它们解压，改名字。并...

在集群上运行spark应用程序时，出现：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources如下图所示：原因是下图最后一段代码：pairRDD.foreach(println)应该...