![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
唐豌豆
这个作者很懒,什么都没留下…
展开
-
scala程序打jar包,spark终端下执行jar包( spark-submit 提交的几种模式))
运行环境工具:idea2019条件:maven管理j依赖jar包,建立的是quickstart工程jar包核心代码object MySpark { def main(args: Array[String]): Unit = {// val conf = new SparkConf().setMaster("local[*]").setAppName("myjob")// val sc = new SparkContext(conf)// //使用空格分离,words与数字原创 2020-09-23 17:22:11 · 1669 阅读 · 0 评论 -
大数据【筑基】---Spark【初窥门径】
一、Spark简介诞生:诞生于加州大学伯克利分校AMP实验室,一个基于内存的分布式计算框架发展历程:2009年诞生于加州大学伯克利分校AMP实验室2010年正式开源2013年6月正式成为Apache孵化项目2014年2月成为Apache顶级项目2014年5月正式发布Spark 1.0版本2014年10月Spark打破MapReduce保持的排序记录2015年发布了1.3、1.4、1.5版本2016年发布了1.6、2.x版本使用Spark的缘由由于Mapreduce编程模型的一下局原创 2020-09-23 15:22:02 · 216 阅读 · 0 评论