![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 70
AllenGd
人生之奋斗,其苦无穷,其乐无穷。
展开
-
Spark在爱奇艺的应用实践
原因:Spark Application使用了非JVM的内存,比如,矩阵计算 的库调用了native library,分配了JVM堆外内存。– 症状:spark.akka.framesize = 128MB, Mesos Master内存飙涨,最终crash。– 症状:当有较多MapReduce job,scheduler调度压力增大的时候,Spark job会被kill掉。Spark组件:通用Spark job, Spark MLlib,Spark Streaming。原创 2022-09-07 14:59:33 · 1060 阅读 · 0 评论 -
Spark安装
主节点上MasterWorker两个进程,子节点上Worker一个进程。将spark拷贝到子节点上然后配置环境变量并使其生效。进入spark的conf目录。编辑spark-env.sh。运行start-all.sh。进入主节点的sbin目录。原创 2022-07-29 10:10:35 · 234 阅读 · 0 评论 -
Spark Transformation和Action算子速查表
Transformation算子 Transformation算子 作用 map(func) 返回一个新的分布式数据集,其中每个元素都是由源RDD中每一个元素经过func函数转换得到的 filter(func) 返回一个新的数据集,其中包含的元素来自源RDD元素经过func函数过滤后的结果(func函数返回true的结果) flatMap(func)原创 2020-09-23 16:15:33 · 203 阅读 · 0 评论 -
scala中的var,val,immutable,mutable理解小结
最近项目要用到spark平台,无论是看源码还是写程序都需要用scala语言,接触了两天之后,对映射Map这里有点疑问,做了点测试之后记一记自己的想法。首先,在scala中定义变量有var和val两种方式,前者定义一个可变量,后者定义一个不可变量,类似Java中的final或者C++中的const,如图1的示例可展示两者的区别。 图1尝试改变一个val定义的变量会报错。针对var和val的区别应...转载 2020-06-30 17:39:07 · 779 阅读 · 0 评论