2019年05月_beTree_fc

06月 05月 04月

原创 Spark transform操作的非常规使用 - SparkContext.runJob()方法的调用

前文一般场景中，Spark计算任务中transform相关的操作都是由action进行触发的，常见的的比如write、collect、show等，或者在数据处理的过程中调用的groupbykey等API，进行shuffle数据重新分发，在提交任务时会把transform的操作作为前置任务进行提交，但是单纯的transform操作是无法触发spark计算任务的。但是，单纯由...

2019-05-28 20:39:14 1902

原创 Spark SQL 解析-转换-执行过程

目录前文正文1.概述2. 抽象语法树生成3.Unresolved Logic Plan 逻辑执行计划生成4. Analyzed Logical Plan 逻辑执行计划生成5.Optimized Logic Plan 逻辑执行计划生成6.SparkPlan 物理执行计划的生成前文 Spark SQL以及Dataset体系在Spark中具有越来越重...

2019-05-27 20:38:54 4209 1

原创 Golang 同步方式

目录1.channel2.Sync.Mutex3. Sync.waitGroup4. Sync.Once5. Sync.context6. Sync.pool7.atomic包，针对变量进行操作Sync包简述收集了一些Golang中同步的方式，做一下笔记，未完待续。。1.channel概述Golang以如此明显的方式告诉我们：。优点：c...

2019-05-21 10:30:29 1890

原创 Go:内核线程、LWP、用户线程？还是协程?

1.三种概念——内核线程、轻量级进程、用户线程：https://blog.csdn.net/qq_32252957/article/details/82983969内核线程：使用内核栈和和寄存器空间，但是调度成本高，等价于进程内核线程就是内核的分身，一个分身可以处理一件特定事情。这在处理异步事件如异步IO时特别有用。内核线程的使用是廉价的，唯一使用的资源就是内核栈和上下文切换时保存...

2019-05-21 10:30:24 1859 2

原创 golang结构体-对象和指针-函数赋予

转载地址：https://studygolang.com/articles/14244原作者：amu_lucifer1、定义一个结构体typeUserstruct{useridintusernamestringpasswordstring}2、初始化一个结构体　　有两种情况，一是得到结构体的对象，一是得到结构的对象指针...

2019-05-21 10:30:18 1913

转载 Golang 学习笔记（06）—— 多线程

作者：ChainZhang链接：https://www.jianshu.com/p/c3d65105fa46介绍线程是cpu调度的最小单位，只有不同的线程才能同时在多核cpu上同时运行。但线程太占资源，线程调度开销大。go中的goroutine是一个轻量级的线程，执行时只需要4-5k的内存，比线程更易用，更高效，更轻便，调度开销比线程小，可同时运行上千万个并发。go语言中开启一个...

2019-05-21 10:30:10 410

转载 sleep与wait是否会占用cpu时间

转载原文：https://blog.csdn.net/lz710117239/article/details/79288605转载作者：lz710117239一直对sleep与wait除了使用方法上的却别外，还对它们是否会占用cpu时间产生了疑惑，故此做了个实验如下：上图中是什么代码都没有执行的时候的cpu利用率，下面我们执行这段代码： public stat...

2019-05-11 16:34:13 5502 5