![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 79
spark
sgxmr
这个作者很懒,什么都没留下…
展开
-
Spark搭建
文章目录Spark集群配置部署模式对比spark-localspark-standalonespark on yarnspark HAspark历史服务器spark提交任务Spark集群配置部署模式对比模式Spark 安装机器数需启动的进程所属者应用场景Local1无Spark测试Standalone3Master 及 WorkerSpark单独部署Yarn1Yarn 及 HDFSHadoop混合部署端口号Ø Spark 查看当前原创 2021-11-19 09:58:36 · 209 阅读 · 0 评论 -
SparkCore学习笔记
文章目录Spark核心编程RDDRDD概述RDD核心属性(五大属性)执行原理RDD基础编程从集合(内存)中创建 RDD从外部存储(文件)创建RDD从其他 RDD 创建直接创建 RDD(new)RDD并行度和分区RDD算子介绍RDD 转换算子(value类型)mapmapPartitionsmapPartitionsWithIndexflatMapglomgroupByfiltersampledistinctcoalescerepartitionsortByRDD转换算子(双value类型)intersect原创 2021-07-15 16:06:58 · 248 阅读 · 0 评论 -
spark开发环境搭建+wordcount案例
环境准备1.打开IDEA新建一个maven项目2.增加 Scala 插件Spark 由 Scala 语言开发的,开发前请保证 IDEA 开发工具中含有 Scala 开发插件[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nG8iJkqt-1626079796853)(spark快速上手.assets/image-20210123152434018.png)]3.下载scala由于需要scala进行编写,所以要安装scalahttps://www.scala-lan原创 2021-07-12 16:50:24 · 223 阅读 · 0 评论 -
java操作spark案例
@TOCspark入门使用(java)官方文档:https://spark.apache.org/docs/latest/api/java/index.html导入依赖创建maven项目并导入依赖,注意spark的版本 <!--spark的核心依赖--> <dependency> <groupId>org.apache.spark</groupId> <artifactId&原创 2021-07-12 14:37:51 · 4184 阅读 · 2 评论 -
spark的windows模式
下载自己对应的版本网址:http://spark.apache.org/downloads.html解压缩文件将文件 spark-3.0.0-bin-hadoop3.2.tgz 解压缩到无中文无空格的路径中启动本地环境执行解压缩文件路径下 bin 目录中的 spark-shell.cmd 文件,启动 Spark 本地环境在 bin 目录中创建 input 目录,并添加word.txt 文件, 在命令行中输入脚本代码sc.textFile("input/word.txt").flatMa原创 2021-03-16 18:31:13 · 244 阅读 · 0 评论 -
Spark简介+3种运行模式安装
文章目录spark概述spark核心模块Ø Spark CoreØ Spark SQLØ Spark StreamingØ Spark MLlibØ Spark GraphX与MapReduce的区别spark核心模块大数据框架体系spark组件spark安装spark的运行模式(基于spark3.0)local模式启动local环境命令行工具退出本地模式提交引用,执行jar包Standalone 模式解压缩文件修改配置文件启动集群提交应用配置历史服务Yarn 模式解压缩修改配置文件启动 HDFS 以及 Y原创 2021-02-24 17:32:18 · 342 阅读 · 0 评论