- 博客(4)
- 收藏
- 关注
RSS订阅原创 RDD计算时是把数据全部加载至内存么
RDD的本质 RDD的本质是一个函数,而RDD的变换不过是函数的嵌套.RDD有两类: 输入的RDD: 典型如KafkaRDD,JdbcRDD 转换的RDD: 如MapPartitionsRDD RDD的处理流程: 以如下代码为例: sc.textFile("abc.log").map().saveAsTextFile("") 1. textFile 会构建出一个NewHad...
2018-09-26 20:15:08
2929
4
原创 JDK8-ArrayList源码分析
由于ArrayList底层是基于Object[]实现的,所以随机读的效率很高,插入和删除需要移动整个数组,效率很低. 和Vector不同,ArrayList不是线程安全的.可以理解为Vector就是线程安全的ArrayList… 属性介绍: /** * Default initial capacity. */ private static fi...
2018-09-08 15:56:29
1601
2
原创 悲观锁,乐观锁以及AtomicInteger原子类介绍
悲观锁与乐观锁介绍: 悲观锁: 即排他锁,假设冲突总会存在,即每次拿数据的时候都认为别人会修改,所以每次拿数据都会加锁.比如synchronize 乐观锁: 假设每次取拿数据的时候,都没有别人在操作,所以不会上锁.但是在更新的时候会判断下再此期间有没有没人去更新过这个数据.常用的有版本号控制/CAS等等. 乐观锁一般多用于读这种场景,...
2018-09-06 15:14:25
648
原创 SparkSQL使用整理(一)
1. Import spark.implicits._ 的作用 支持在DataFrame中使用 $”列名” 这个语法糖，表示的是Column对象 df.select($"name").show() 如果不加$，那么就会当一个String来处理 支持把一个RDD隐式转换为一个DataFrame ---- 引申: 目前Spark官网提供了三种方法来实现从RDD转DataFrame ...
2018-09-04 10:50:13
2503
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人