![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 94
仙姝
这个作者很懒,什么都没留下…
展开
-
Spark调优技术点
1 性能调优1.1 分配资源spark‐submit \‐‐master spark://node1:7077 \‐‐class cn.itcast.WordCount \‐‐num‐executors 10 \ # 配置executor的数量‐‐driver‐memory 6g \ # 配置driver的内存(影响不大)‐‐executor‐memory 6g \ # 配置每一个executor的内存大小‐‐executor‐cores 3 \ # 配置每一个executor的cpu个原创 2021-05-07 20:35:49 · 310 阅读 · 0 评论 -
spark
Spark是什么Spark是一个开源的类似于Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Spark中的Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。Spark是MapReduce的替代方案,而且兼容HDFS、Hive,可融入Hadoop的生态系统,以弥补原创 2021-01-30 11:03:58 · 423 阅读 · 0 评论 -
Scala
熟练使用scala编写Spark程序动手编写一个简易版的Spark通信框架为阅读Spark内核源码做准备scala当中方法的定义scala当中的递归一定要定义返回值scala当中函数的定义原创 2021-01-26 17:07:21 · 255 阅读 · 0 评论