- 博客(7)
- 收藏
- 关注
RSS订阅原创 sparkOOM问题
Spark中的OOM问题不外乎以下两种情况map执行中内存溢出shuffle后内存溢出map执行中内存溢出代表了所有map类型的操作，包括：flatMap，filter，mapPatitions等。shuffle后内存溢出的shuffle操作包括join，reduceByKey，repartition等操作。Spark 内存模型：Spark在一个Executor中的内存分为三块，一块是e...
2018-09-27 23:04:48
177
原创 spark的join
inner joininner join是一定要找到左右表中满足join条件的记录，我们在写sql语句或者使用DataFrmae时，可以不用关心哪个是左表，哪个是右表6，在spark sql查询优化阶段，spark会自动将大表设为左表，即streamIter，将小表设为右表，即buildIter。这样对小表的查找相对更优left outer joinleft outer join是以左表为准...
2018-09-27 23:02:25
706
原创 scala高级特性
Scala混合了面向对象和函数式的特性，我们通常将可以作为参数传递到方法中的表达式叫做函数。在函数式编程语言中，函数是“头等公民”，高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。作为值的函数可以像任何其他数据类型一样被传递和操作的函数，每当你想要给算法传入具体动作时这个特性就会变得非常有用。匿名函数在Scala中，你不需要给每一个函数命名，没有将函数赋给变量的函数叫做匿名函数。...
2018-09-27 23:00:42
146
转载 JVM的基本概念
.JVM简析：说起Java，我们首先想到的是Java编程语言，然而事实上，Java是一种技术，它由四方面组成：Java编程语言、Java类文件格式、Java虚拟机和Java应用程序接口(Java API)。JVM基本概念(1) 基本概念：JVM是可运行Java代码的假想计算机 ，包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收，堆 和 一个存储方法域。JVM是运行在操作系统之上的，它...
2018-09-27 22:59:08
204
原创 ArrayList和LinkedList的区别
ArrayList和LinkedList都是实现了List接口的容器类，用于存储一系列的对象引用。他们都可以对元素的增删改查进行操作。对于ArrayList，它在集合的末尾删除或添加元素所用的时间是一致的，但是在列表中间的部分添加或删除时所用时间就会大大增加。但是它在根据索引查找元素的时候速度很快。对于LinkedList则相反，它在插入、删除集合中任何位置的元素所花费的时间都是一样的，但是它...
2018-09-27 22:53:41
88
原创 HDFS的工作机制
NameNode负责管理整个文件系统元数据；DataNode负责管理具体文件数据块存储；Secondary NameNode协助NameNode进行元数据的备份。HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向NameNode申请来进行。...
2018-09-18 09:34:45
288
原创 spark调优
Spark性能调优之数据倾斜如今学习大数据开发的人不断的增加，但是关于大数据也有不少的小伙伴不是很了解，本篇文章小编就和大家一块来看一下大数据分析之2018大数据Spark性能调优之数据倾斜，希望可以帮到喜欢或者准备学习大数据的小伙伴们。 绝大多数task执行得都非常快，但个别task执行极慢。比如总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一...
2018-09-18 09:30:50
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人