spark
今天的砖很烫手
不断进步~总有一天回望过去!发现自己已经成长了很多...
展开
-
Idea+Maven创建Scala项目
标题Idea+Maven创建Scala项目 请先行安装Maven https://blog.csdn.net/weixin_43125677/article/details/98191003 创建一个Maven项目 添加对应的版本依赖到pom.xml中 创建Scala class 创建scala , 蓝色 添加对应的scala 测试 ...原创 2019-08-03 14:26:29 · 184 阅读 · 0 评论 -
提交一个Spark WordCount到集群运行
Spark WordCount import org.apache.spark.{SparkConf, SparkContext} object Test { def main(args: Array[String]): Unit = { var conf = new SparkConf().setAppName("WordCount").setMaster("local") ...原创 2019-08-03 15:35:51 · 648 阅读 · 1 评论 -
基于CentOS搭建spark集群
基于CentOS搭建spark集群 请先安装hadoop spark安装地址 1.官网地址 http://spark.apache.org/ 2.文档查看地址 https://spark.apache.org/docs/2.1.1/ 3.下载地址 https://spark.apache.org/downloads.html Standalone模式安装 1)上传并解压spark安装包...原创 2019-08-04 22:25:30 · 367 阅读 · 0 评论 -
Idea对Spark程序调试
Idea对Spark程序本地调试 var conf = new SparkConf().setAppName("WordCount").setMaster("local") var sc = new SparkContext(conf) ... ... ... sc.stop() 设置成local即可进行本地调试 Idea对Spark程序集群调试 var conf = new SparkConf...原创 2019-08-06 20:44:14 · 317 阅读 · 0 评论