自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据之路

专注数据架构 外功修行,内功修神

  • 博客(7)
  • 资源 (3)
  • 论坛 (1)

原创 大数据工作流任务调度--有向无环图(DAG)之拓扑排序

拓扑排序(Topological Sorting)维基百科上拓扑排序的定义为:对于任何有向无环图(DAG)而言,其拓扑排序为其所有结点的一个线性排序(同一个有向图可能存在多个这样的结点排序)。该排序满足这样的条件——对于图中的任意两个结点U和V,若存在一条有向边从U指向V,则在拓扑排序中U一定出现在V前面。通俗来讲:拓扑排序是一个有向无环图(DAG)的所有顶点的线性序列, 该序列必须满足两个...

2019-01-20 22:47:02 4418 2

原创 Mac使用vnc远程登录ubuntu16.04桌面

mac使用vnc远程登录ubuntu16.04桌面1.安装在Ubuntu上安装x11vnc,如下:sudo apt-get install x11vnc2.配置vnc密码x11vnc -storepasswd3.启动vnc服务x11vnc -forever -shared -rfbauth ~/.vnc/passwd最好后台执行4.在mac上安装vnc viewer,安装好后,在...

2019-01-23 15:22:00 12481 2

原创 开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)

本文为博主公司原创文章,仿冒必究,转载请回复留言开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)易观CTO 郭炜 序现在大数据组件非常多,众说不一,在每个企业不同的使用场景里究竟应该使用哪个引擎呢?这是易观Spark实战营出品的开源Olap引擎测评报告,团队选取了Hive、Sparksql、Presto、Impala...

2019-01-21 10:47:05 32183 30

原创 2019.01.12 Presto中国区用户线下Meetup

2019.01.12号,我们邀请Presto原创团队莅临中国,带来关于Presto的最新feature和roadmap动态,也邀请国内的Presto前沿公司兄弟分享实践干货,期待各位朋友的参加:活动地点:北京 朝阳区绿地中心B座10层 盖亚互娱 乌月神殿活动时间:2019年1月12日 14:00 ~ 2019年1月12日 17:30活动议程:议程一 14:00-14:30 Introdu...

2019-01-13 12:38:37 813

原创 HDFS中的内存存储支持

因工作中olap场景中对性能的极致要求,我们将部分业务数据的hdfs路径的存储策略设置为放在内存中(RAM_DISK)中,这是在hadoop2.6以后的版本支持的。抽空翻译了官网的文章HDFS中的内存存储支持介绍 管理员配置 限制副本使用的内存 在数据节点上设置RAM磁盘 选择tmpfs(vs ramfs) 挂载RAM磁盘 使用RAM_DISK存储类型标记tmpfs卷 ...

2019-01-10 00:03:37 2506 3

转载 如何建立数据思维

数据思维是新手和老手的分界线(之一)作为数据PM,不管是初入行还是处于打怪中间态,都需要建立数据思维,从实战经验来看,数据思维也是区分一般数据PM和高阶数据PM的分界线之一。我刚入行时,做广告商业产品,遇到一个case让我见识到了产品老大的数据思维。对于广告部门而言,收入是KPI,每天的广告收入是老大重点关注的指标,老大的功力在于能从整体的收入下降不断递进反推快速命中下降的原因。当天的真实情况是...

2019-01-02 22:33:55 993

转载 如何定义数据指标

数据指标的定义,是培养数据思维要闯的第一道关。比如常见的以下指标定义:1、激活,如何定义一个激活?下载、安装并打开APP的用户数?我们暂且这么定义。根据定义,下载没安装或者安装没打开的用户,都不计入激活。只有完成所有步骤的用户才算。但是问题来了,一个用户下载、安装并打开APP时,根本没登录,他只是一个游客。激活的定义变成:下载、安装并打开APP的游客数。如果我们把这个定义交给开发,开发可能...

2019-01-02 22:20:30 1354 1

正则表达式验证工具.exe

正则表达式验证工具 验证正则正确与否的利器 验证java、javascript等等,非常棒的软件,推荐下

2013-03-28

GIAC架构大会-承载每天万级任务的调度系统架构是如何设计的.pdf

承载每天万级任务的调度系统架构是如何设计的 分布式任务调度系统如何设计? 开源分布式任务调度系统介绍

2019-07-07

ippicv_linux_20151201.tgz

Ubuntu16.04安装OpenCV3.2.0过程中,在cmake下载过程中可能会出现 ICV:DOWNLONDING ippicv_linux_20151201.tgz 但是一直下载不下来,自己可以手动下载,把压缩包放到opencv3.2.0->ippic->Download下

2018-04-07

代立冬的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也
提示
确定要删除当前文章?
取消 删除