scala
文章平均质量分 54
大家都叫我船长
这个作者很懒,什么都没留下…
展开
-
死磕sparkSQL源码之TreeNode
本文主要介绍了,sparksql中最基础的底层TreeNode类的相关方法,介绍了方法的含义,以及部分scala语法的使用介绍原创 2022-11-23 20:51:33 · 625 阅读 · 0 评论 -
scala之偏函数学习
scala中偏函数的理解,以及对偏函数执行lift后的变化原创 2022-11-20 20:28:17 · 597 阅读 · 1 评论 -
scala之product特质理解
学习sparksql源码的时候,发现TreeNode是继承Product类的,所以学习下scala 的product特质,通过demo的形式能够更加方便理解原创 2022-11-18 21:22:32 · 612 阅读 · 0 评论 -
spark任务提交过程代码分析
下图是一个计算π的值的spark程序spark提交任务实例./spark-submit --class com.learn.spark.SimpleApp --master yarn --deploy-mode client --driver-memory 2g --executor-memory 2g --executor-cores 3 ../spark-demo.jar具体各个参数这里我们不详细解释,网上都有spark-submit脚本中调用的是org.apa原创 2020-09-17 10:55:52 · 273 阅读 · 0 评论 -
自研分布式 OLAP系统学习记录
如何实现HA每个节点会启动两个进程,一个是master进程(端口号10008),一个是slave进程(端口号10007),目前已知这两个进程的区别是,一个是提交到yarn上,另外一个是通过local的形式,还有就是两者的jvm内存会有区别,master进程会更加大一点每个进程在启动的时候,根据自己提交的是yarn还是local的模式,如果是yarn的话,就可以成为master节点,会去往ZK的/jdbcUrl下面去注册临时节点(ip:port),如果是local模式的话,会往ZK的/jdbcUrlLo原创 2020-08-21 20:32:30 · 123 阅读 · 0 评论 -
scala之implicit学习
不使用implictimport java.io.Fileimport scala.io.Sourceclass RichFile(val file : File) { //定义一个read方法,返回String类型 def read():String = Source.fromFile(file.getPath).mkString}object RichFile{ //隐式转换方法(将原有的File类型转成了file类型,在用的时候需要导入相应的包) //implici原创 2020-07-25 15:05:13 · 145 阅读 · 0 评论