- 博客(5)
- 收藏
- 关注
RSS订阅原创 有状态的sparkStreaming
1、mapWithState案例：是wordCount小程序，单词word持续增加，由5增加到100了，还会持续增加，因为用到了它的前置数据。必须checkPoint。 ssc.checkpoint("hdfs://linux-hadoop01.ibeifeng.com:8020/beifeng/spark/streaming/chkdir45254")def mappingFun...
2019-06-20 08:01:22
254
转载 spark shuffle总结
一、未经优化的HashShuffleManagershuffle write：stage结束之后，每个task处理的数据按key进行“分类”数据先写入内存缓冲区缓冲区满，溢出到磁盘文件最终，相同key被写入同一个磁盘文件创建的磁盘文件数量 = 当前stagetask数量 * 下一个stage的task数量shuffle read：从上游stage的所有task节点上拉取属于...
2019-06-19 16:22:13
784
转载 git 回滚 commit 的近几次版本
问题：我们在使用git本地commit时，如果commit了好多次没有push，又想把最后一次或者最近几次commit的不想push了，可以用下面的方法撤销（推荐使用第一种）。注意：git 只能撤销最后一次或者最后多次的commit，不能只撤销中间的某一次！！！解决办法：（1）最方便，不需要commit_id：使用命令 gitreset--hardhead~1...
2019-06-17 19:45:32
1210
原创 Scala的闭包和柯里化
1、scala中的闭包：变量不在函数作用域中时，还可以访问。闭包可以作为变量或者返回值def mulBy(factor:Double) = (x:Double) => factor * x //开始调用 val tripe = mulBy(3) val half = mulBy(0.5) println(tripe(14) + " ...
2019-06-15 16:04:32
1886
原创 Scala之Option、Some、None
Scala鼓励你在变量和函数返回值可能不会引用任何值的时候使用Option类型。在没有值的时候，使用None，这是一个对象。如果有值可以引用，就使用Some来包含这个值。Some也是Option的子类。刚接触Scala时就很奇怪, 为什么Java已经有null了,却偏偏还要弄出个None后来依然我行我素在Scala里使用null, 结果就是经常被NullPointerExcep...
2019-06-14 09:29:47
1653
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人