![](https://img-blog.csdnimg.cn/63349d2fb1e94d9db365981039521645.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
spark
文章平均质量分 80
spark相关
流月up
后端java开发,熟悉spring源码,大数据开发工程师,从事大数据架构搭建及二次代码开发
展开
-
spark sql 与scala混合开发实现数据入mongodb
spark sql 与scala混合开发实现数据入mongodb原创 2024-05-08 08:45:19 · 605 阅读 · 0 评论 -
spark sql broadcast 问题
spark sql broadcast 问题解决Cannot broadcast the table over 357913941 rows: 478354592 rows原创 2024-03-05 08:57:31 · 583 阅读 · 0 评论 -
spark sql cbo与rbo考量
spark sql cbo 与 rbo 考量原创 2024-03-05 08:56:47 · 476 阅读 · 0 评论 -
10.spark on yarn
spark on yarn 实践原创 2024-02-26 08:49:59 · 380 阅读 · 0 评论 -
9.spark自适应查询-AQE之动态调整Join策略
spark AQE 动态调整join策略原创 2023-11-08 08:36:28 · 660 阅读 · 1 评论 -
8.spark自适应查询-AQE之自适应调整Shuffle分区数量
spark AQE 自适应调整Shuffle分区数量实战原创 2023-11-07 08:25:14 · 1011 阅读 · 1 评论 -
7.spark sql编程
spark sql 创建,操作及 RDD转DataFrame详细原创 2023-11-05 12:31:03 · 687 阅读 · 1 评论 -
6.Spark共享变量
spark共享变量,广播变量,累加器原创 2023-11-04 09:08:09 · 1089 阅读 · 0 评论 -
5.RDD持久化
spark rdd持久化详解原创 2023-11-03 10:39:01 · 82 阅读 · 1 评论 -
4.RDD编程指南
RDD深入了解,如何创建,如何使用,算子对RDD的操作原创 2023-11-03 08:31:12 · 125 阅读 · 1 评论 -
3.使用spark开发第一个程序WordCount程序及多方式运行代码
WordCount是一个快速入门案例,单词统计,通过此案例,学习如何用scala来编写spark程序,spark 跑任务的几种方式,日志聚合原创 2023-11-02 13:36:04 · 1298 阅读 · 0 评论 -
2.Spark的工作与架构原理
介绍 spark 的工作与架构原理,对 rdd 进行简述原创 2023-11-01 08:41:15 · 1590 阅读 · 1 评论 -
1.spark standalone环境安装
环境是spark 3.2.4 hadoop版本 3.2.4,所以官网下载的包为 spark-3.2.4-bin-hadoop3.2.tgz在具体安装部署之前,需要先下载Spark的安装包,进到spark的官网,点击download按钮使用Spark的时候一般都是需要和Hadoop交互的,所以需要下载带有Hadoop依赖的安装包这个时候就需要选择Hadoop版本对应的Spark安装包机器配置注意:需要确保这几台机器上的基础环境是OK的,防火墙、免密码登录、还有JDK。原创 2023-10-26 10:58:11 · 403 阅读 · 1 评论