![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
梦里Coding
bigData
展开
-
Spark的运行流程
Spark的对于任务的运行流程是这样的:原创 2023-05-11 11:44:51 · 216 阅读 · 0 评论 -
走进Spark的世界-IDEA用Scala实现简单的WordCount案例
在学习大数据的过程中,已经了解了MapReduce的框架和使用,并了解了其底层数据处理的实现方式。接下来,就让咱们走进 Spark 的世界,了解一下它是如何带领我们完成数据处理的。创建项目首先通过IDEA创建MAVEN项目:groupId:取名为com.atguigu.bigdataname:atguigu-classes项目进来之后,删掉Src模块,创建spark-core的Module,添加Scala的依赖,首先自己去官网下载Scala,这里下载的是2.12版本。创建完的项目结构:接着添原创 2021-10-23 21:06:21 · 682 阅读 · 0 评论 -
Spark官网下载速度过慢?试试清华的镜像
Spark官网去下载包的速度过慢,试试清华的镜像:https://mirrors.tuna.tsinghua.edu.cn/apache/spark/速度瞬间拉满原创 2021-05-13 19:18:52 · 3286 阅读 · 0 评论