自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (6)
  • 收藏
  • 关注

原创 Spark transform操作的非常规使用 - SparkContext.runJob()方法的调用

前文 一般场景中,Spark计算任务中transform相关的操作都是由action进行触发的,常见的的比如write、collect、show等,或者在数据处理的过程中调用的groupbykey等API,进行shuffle数据重新分发,在提交任务时会把transform的操作作为前置任务进行提交,但是单纯的transform操作是无法触发spark计算任务的。 但是,单纯由...

2019-05-28 20:39:14 1901

原创 Spark SQL 解析-转换-执行过程

目录前文正文1.概述2. 抽象语法树生成3.Unresolved Logic Plan 逻辑执行计划生成4. Analyzed Logical Plan 逻辑执行计划生成5.Optimized Logic Plan 逻辑执行计划生成6.SparkPlan 物理执行计划的生成前文 Spark SQL以及Dataset体系在Spark中具有越来越重...

2019-05-27 20:38:54 4200 1

原创 Golang 同步方式

目录1.channel2.Sync.Mutex3. Sync.waitGroup4. Sync.Once5. Sync.context6. Sync.pool7.atomic包,针对变量进行操作Sync包简述收集了一些Golang中同步的方式,做一下笔记,未完待续。。1.channel概述Golang以如此明显的方式告诉我们:。优点:c...

2019-05-21 10:30:29 1890

原创 Go:内核线程、LWP、用户线程? 还是协程?

1.三种概念——内核线程、轻量级进程、用户线程:https://blog.csdn.net/qq_32252957/article/details/82983969内核线程:使用内核栈和和寄存器空间,但是调度成本高,等价于进程内核线程就是内核的分身,一个分身可以处理一件特定事情。这在处理异步事件如异步IO时特别有用。内核线程的使用是廉价的,唯一使用的资源就是内核栈和上下文切换时保存...

2019-05-21 10:30:24 1859 2

原创 golang结构体-对象和指针-函数赋予

转载地址:https://studygolang.com/articles/14244原作者:amu_lucifer1、定义一个结构体typeUserstruct{useridintusernamestringpasswordstring}2、初始化一个结构体  有两种情况,一是得到结构体的对象,一是得到结构的对象指针...

2019-05-21 10:30:18 1912

转载 Golang 学习笔记(06)—— 多线程

作者:ChainZhang链接:https://www.jianshu.com/p/c3d65105fa46介绍线程是cpu调度的最小单位,只有不同的线程才能同时在多核cpu上同时运行。但线程太占资源,线程调度开销大。go中的goroutine是一个轻量级的线程,执行时只需要4-5k的内存,比线程更易用,更高效,更轻便,调度开销比线程小,可同时运行上千万个并发。go语言中开启一个...

2019-05-21 10:30:10 409

转载 sleep与wait是否会占用cpu时间

转载原文:https://blog.csdn.net/lz710117239/article/details/79288605转载作者:lz710117239一直对sleep与wait除了使用方法上的却别外,还对它们是否会占用cpu时间产生了疑惑,故此做了个实验如下:上图中是什么代码都没有执行的时候的cpu利用率,下面我们执行这段代码: public stat...

2019-05-11 16:34:13 5502 5

Spark-2-4-PDF

spark2.4官方介绍PPT,PDF版本,没有大的变化,sql api增加和新的调度模型

2018-09-21

手机基站数据Demo

手机基站数据,用于练习spark 实践,已经测试过,手机基站数据,用于练习spark 实践,已经测试过

2018-05-20

spark - 小实践(2)-- 模拟数据

spark - 小实践(2)dataset实战测试数据 people.json peopleScore.json

2018-04-11

小实践3-测试数据 - 用户行为数据-user.json/log.json

user.json log.json userparquet.parquet logparquet.parquet

2018-04-11

spring-jdbc-2.5.6.jar

可用,本人亲测,应该不会出现确实什么东西的现象

2015-05-02

commons-dbcp-1.2

本人亲测可用,如果,在开发过程中遇到了什么问题,可以联系我

2015-05-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除