- 博客(228)
- 收藏
- 关注
RSS订阅原创 Doris 创建物化视图流程
整个链路终于要连通啦~这次从fe出发，看一下从发送 creatematerialized view开始，发生了什么。首先是fe监听到sql，入口为：ConnectProcessor.java :: processOnce （处理一次sql请求），然后根据不同的sql类型，分发到不同的handle去处理。创建物化视图属于ddl操作，分发到 DdlExecutor 去执行，根据stmt判断Ddl类型为创建物化视图，然后转到alter.MaterializedViewHandler::processCr.
2021-06-10 11:08:50
740
原创 Doris Alter Task 执行流程
好吧，在理解完compaction流程之后，发现问题还是没有解决，那么就一起来看下 一个 alter task提交到doris之后经历了什么吧！ （rollup也是alter table）背景知识：由AgentServer提供统一的接口，内部通过task pool方式来调度各种任务。入口：olap/task/engine_alter_tablet_task.cpp :: execute()→ process_alter_tablet_v2()1、先来看下request的关键参数ba...
2021-06-10 11:07:39
384
原创 Doris Compaction 流程
背景知识：Doris中compaction分为两种：BASE_COMPACTION 和CUMULATIVE_COMPACTION1、首先从 olap_server.cpp 中 start_bg_threads 开始启动各种流程compaction入口：StorageEngine::_compaction_tasks_producer_callback()如果没有禁止 disable_auto_compaction 则每进行 cumulative_compaction_rounds_for.
2021-06-10 11:05:32
468
原创 Flink 大状态存储 & 状态TTL
什么是Flink大状态存储？举个栗子。现有用户访问流数据，需统计每个用户PV，用户量级为3亿。如何计算？假定每个用户ID为50字节。那么3亿用户ID的存储需要：50 b * 3 亿 ≈ 13 G ，那么可以直接存在job内存中，如果担心job重启，内存数据丢失，可以放在redis中，或者Aerospike（一种用磁盘的kv存储）。那如果状态再大一些呢？再举个栗子：某广告场景下，点击数据需要根据请求ID 到请求日志中取相关维度信息。假设请求发生后，24小时之内，都有可能发生点击，那么就需要将请求.
2020-12-08 16:29:18
3279
7
原创 活法 稻田和夫 读后随笔
活法读后感作者书中讲到：人与宇宙之间是紧密相连的，人是组成宇宙的一部分，人的一切行为都受到来自宇宙或者宇宙之外的神秘力量所指引，因为宇宙也是从无到有，进而诞生生命的一个过程。这个神秘力量便引导着整个宇宙发展。人与宇宙是否有联系？或者说小一点，人与所生活的周遭环境是否有联系？这是一个挺有意思的问题。因为在这之前我也有过类似的想法。举个栗子，上大学的时候，如果自己某段时间在认真学习，积极去做各种事情，那么总是感觉好运连连。而如果自己某段时间总是逃课打游戏，那么便会遇到诸多不顺，烦...
2020-10-15 23:21:25
490
1
原创 黑天鹅--读后感
什么是黑天鹅？很久很久以来人们见到的天鹅都是白色的，于是人们定义：天鹅都是白色的。直到有一天，人们突然发现了一只黑色的天鹅，一下子，人们若干年的观察都被推翻了：天鹅不一定都是白色的。然而为什么人们观察到的天鹅都是白色的呢？因为黑色的天鹅比较稀少，所以人们的样本不足，得出了天鹅都是白色的这一错误推论。黑天鹅于是借指一些发生概率比较小，但是一旦发生，对当前产生巨大影响...
2020-05-06 23:44:03
720
2
原创 10倍程序员工作法
开篇的灵魂拷问：我现在的水平我要到达的水平我该怎么做？现在的水平：菜，贼菜，巨菜要达到的水平：阐述一件自己平常的事情，旁人听来却像在吹牛*该怎么做：睡觉。（梦里实现）。手动狗头hhhh正经点，所谓的10x程序员，是说大佬程序成的工作效率是普通程序员的10倍。也许有点夸张，但是重点思想是没错的，效率高效与否，最后结果真的差别很大。读过两本讲工作效率的...
2020-02-11 20:27:07
912
3
原创 Go HTTP包源码阅读 持续更新 0.0
首先定义了几种错误ErrBodyNotAllowed = errors.New(“http: request method or response status code does not allow body”)ErrHijacked = errors.New(“http: connection has been hijacked”)ErrContentLength = errors.Ne...
2019-07-17 14:57:00
590
原创 排序算法：睡眠排序法
假设数据长度为n 那么为每个待排序数创建一个线程，每个线程休眠 arr[ i ] ms 然后每个线程醒来后自己报数~~看代码func main() { arr := []int{5, 6, 2, 4, 3, 7, 9, 1, 8} for _, v := range arr { go func(i int) { time.Sleep(time.Millisecond * ...
2018-10-17 10:30:21
2290
1
原创 互联网广告计费 名词
计价模式CPA(Cost-per-Action) ：每行动成本每次行动的费用，即根据每个访问者对网络广告所采取的行动收费的定价模式。对于用户行动有特别的定义，包括形成一次交易、获得一个注册用户、或者对网络广告的一次点击等。CPA=总成本/转化次数CPA计价方式是指按广告投放实际效果，即按回应的有效问卷或定单来计费，而不限广告投放量。CPA的计价方式对于网站而言有一定的风险，但若广告...
2018-09-21 10:54:01
650
原创 redis设计与实现 学习笔记 （链表
list 底层结构struct listNode{ struct listNode *prev; struct listNode *next; void *value;}struct list{ listNode *head; listNode *tail; unsigned long len; void *(*dup)(vo...
2018-09-05 17:50:57
131
原创 redis设计与实现 学习笔记 (rediis 字符串
redis字符串 底层机构struct sdshdr{ int len; int free; char buf[];}redis 字符串的内存管理策略：1. 空间预分配 （1） 如果修改后成都小于 1MB 预分配的 free 等于修改后的len（2）如果大于 1MB 预分配的 free = 1 MB实际内存 = len + free +1byt...
2018-09-05 17:17:36
276
原创 Effective go学习笔记
在包中，任何顶级声明前面的注释都将作为该声明的文档注释。在程序中，每个可导出（首字母大写）的名称都应该有文档注释包应当以小写的单个单词来命名，且不应使用下划线或驼峰记法。长命名并不会使其更具可读性。一份有用的说明文档通常比额外的长名更有价值。关于不写分号：和 C 一样，Go 的正式语法使用分号来结束语句；和 C 不同的是，这些分号并不在源码中出现。 取而代之，词法分析器会使用一条简...
2018-08-07 17:14:49
204
原创 Docker 学习笔记
其实我是一脸懵逼的 啥玩意啊暂时还不知道 docker 有啥用先make docker 部署mysql 服务https://blog.csdn.net/bingzhongdehuoyan/article/details/79412914
2018-07-20 17:58:02
134
原创 redis + go 的使用 redigo
开源库redigogo get github.com/garyburd/redigo/redis 连接redisredis.Dial("tcp","127.0.0.1:6379")简单读写操作（写入的值不会过期SET keyGET keyEXISTS keyDEL key [key …]c.Do("SET", "mykey", "superWang")...
2018-07-20 16:33:03
783
原创 redis 小白 入门 学习笔记
为什么使用redis？我们在碰到需要执行耗时特别久，且结果不频繁变动的SQL，把sql结果放入缓存，那么就能大大提高读取的性能在大量并发情况下，例如 秒杀 如果每个请求都去 链接数据库 势必会发生一些不可描述的事情 为啥 redis 速度快呢？（redis 是单线程工作机制 避免了山下文切换采用了 非阻塞多路 io 复用纯内存操作 不需要 io 读取 ...
2018-07-20 11:34:15
357
原创 golang vendor 学习笔记
安装 go get -u -v github.com/kardianos/govendorvendor 用来管理 golang 项目包（解决很烦人的导包问题使用#进入到项目目录cd /home/gopath/src/mytool#初始化vendor目录govendor init#查看vendor目录[root@CC54425A mytool]# lscom...
2018-07-20 11:08:12
667
原创 Context Go 学习及使用
chan + select 是go 中比较优雅结束一个 goroutine 的方式 但是当goroutine 衍生出其他更多的 goroutine 的时候怎么管理呢？Context 就提供这么一种处理的方法 我看大佬们都称之为 上下文 0.0context.Background() 返回一个空的Context我们可以用这个 空的 Context 作为 goroutine 的...
2018-07-18 11:38:55
2461
原创 git 学习笔记
初始化一个Git仓库，使用git init命令。添加文件到Git仓库，分两步：使用命令git add <file>，注意，可反复多次使用，添加多个文件； 使用命令git commit -m <message>，完成。 HEAD指向的版本就是当前版本，因此，Git允许我们在版本的历史之间穿梭，使用命令git reset --hard commit_id。 ...
2018-07-16 19:15:59
116
原创 7
514class Solution {public: /* * @param n: non-negative integer, n posts * @param k: non-negative integer, k colors * @return: an integer, the total number of ways */
2017-10-31 11:22:05
252
原创 CodeForces 788B Weird journey
Weird journeyTime Limit:2000MS Memory Limit:262144KB 64bit IO Format:%I64d & %I64uSubmit Status Practice CodeForces 788BDescriptionLittle boy Igor wants to become a travell
2017-04-06 17:27:37
537
原创 CodeForces 352C
C - Jeff and RoundingTime Limit:1000MS Memory Limit:262144KB 64bit IO Format:%I64d & %I64uSubmit Status Practice CodeForces 352CDescriptionJeff got 2n real numbers a1, a2
2017-03-27 19:50:14
450
原创 CodeForces 352B
B - Jeff and PeriodsTime Limit:1000MS Memory Limit:262144KB 64bit IO Format:%I64d & %I64uSubmit Status Practice CodeForces 352BDescriptionOne day Jeff got hold of an intege
2017-03-27 19:42:53
334
原创 CodeForces 352A
A - Jeff and DigitsTime Limit:1000MS Memory Limit:262144KB 64bit IO Format:%I64d & %I64uSubmit Status Practice CodeForces 352ADescriptionJeff's got n cards, each card conta
2017-03-27 19:40:09
416
原创 广东工业大学程序设计竞赛决赛 E
Problem E: 倒水(Water)Description一天，CC买了N个容量可以认为是无限大的瓶子，开始时每个瓶子里有1升水。接着~~CC发现瓶子实在太多了，于是他决定保留不超过K个瓶子。每次他选择两个当前含水量相同的瓶子，把一个瓶子的水全部倒进另一个里，然后把空瓶丢弃。(不能丢弃有水的瓶子)显然在某些情况下CC无法达到目标，比如N=3,K=1。此时
2017-03-27 19:36:30
699
原创 广东工业大学程序设计竞赛决赛 D
Problem D: 只有通过毁灭才能揭示真理Description“只有通过毁灭才能揭示真理。” —— 虚空之眼维克兹是一个有触手的虚空来客，他带着非凡的意图探索着符文之地：吸收掉所有知识。凭借着他不断地注视，维克兹可以发射瓦解光线来灭除并分析他途中的一切东西，并为他供给数量庞大的信息。没人知道他为什么需要如此多的材料，尽管有人推测他设法了解符文之地，是为
2017-03-27 19:34:17
351
原创 广东工业大学程序设计竞赛决赛 C
Problem C: 爬楼梯Description小时候，我只能一阶一阶得爬楼梯，后来，我除了能一次爬一阶，还可以一次爬两阶，到现在，我最多一次可以爬三阶。那么现在问题来了，我想爬上n层楼，相邻楼层之间有一段楼梯，虽然我一次可以爬1个台阶、2个台阶和3个台阶，但是我在i与i+1层之间的楼梯上时，我不能跨越到i+1与i+2层之间的楼梯。现在有个
2017-03-27 19:32:57
401
原创 广东工业大学程序设计竞赛决赛 B
Problem B: 占点游戏Description众所周知的是，TMK特别容易迟到，终于在TMK某次又迟到了之后，Maple怒了，Maple大喊一声：“我要跟你决一死战！”然后Maple就跟TMK玩起了一个关于占点的游戏。Maple在一个无限展开的只有整数点的二维平面上找到两个点，由TMK和Maple分别操控这两个点，两
2017-03-27 19:31:05
652
原创 广东工业大学程序设计竞赛决赛 A
Problem A: 两只老虎Description来，我们先来放松下，听听儿歌，一起“唱”。两只老虎两只老虎，跑得快跑得快。一只没有耳朵，一只没有尾巴。真奇怪，真奇怪。Tmk也觉得很奇怪，因为在他面前突然出现了一群这样的老虎，有的没耳朵，有的没尾巴，不过也有正常的。现在Tmk告诉你这群老虎的耳朵个数，尾巴条数，以及老虎的腿的
2017-03-27 19:15:02
536
原创 嘿嘿
1058: [ZJOI2007]报表统计TimeLimit: 15Sec Memory Limit: 162 MBSubmit: 3230 Solved: 1101[Submit][Status][Discuss]Description 小Q的妈妈是一个出纳，经常需要做一些统计报表的工作。今天是妈妈的生日，小Q希望可以帮妈妈分担一些工作，作为她的生日礼物之一。经过仔细
2017-03-07 10:31:19
418
原创 HDU 4007 Dave
DaveTime Limit: 2000/1000 MS (Java/Others) Memory Limit: 65768/65768 K (Java/Others)Total Submission(s): 3989 Accepted Submission(s): 1343Problem DescriptionRecently, Dave is bor
2017-03-06 17:21:40
259
原创 HDU 4007 Dave
DaveTime Limit: 2000/1000 MS (Java/Others) Memory Limit: 65768/65768 K (Java/Others)Total Submission(s): 3989 Accepted Submission(s): 1343Problem DescriptionRecently, Dave is bor
2017-03-06 17:05:21
216
原创 HDU 4006 The kth great number
The kth great numberTime Limit: 2000/1000 MS (Java/Others) Memory Limit: 65768/65768 K (Java/Others)Total Submission(s): 10799 Accepted Submission(s): 4307Problem DescriptionXiao
2017-03-06 15:45:06
265
原创 嘿嘿~
1026: [SCOI2009]windy数Time Limit: 1 Sec MemoryLimit: 162 MBSubmit: 6924 Solved: 3123[Submit][Status][Discuss]Description windy定义了一种windy数。不含前导零且相邻两个数字之差至少为2的正整数被称为windy数。 windy想知道，在A和B之
2017-02-28 15:31:39
529
原创 BZOJ 1191: [HNOI2006]超级英雄Hero
1191: [HNOI2006]超级英雄HeroTime Limit: 10 Sec Memory Limit: 162 MBSubmit: 3980 Solved: 1840[Submit][Status][Discuss]Description现在电视台有一种节目叫做超级英雄,大概的流程就是每位选手到台上回答主持人的几个问题,然后根据回答问题的多少获得不同数目的奖品
2017-01-21 12:41:38
312
原创 BZOJ 1083[SCOI2005]繁忙的都市
1083: [SCOI2005]繁忙的都市Time Limit: 10 Sec Memory Limit: 162 MBSubmit: 2651 Solved: 1741[Submit][Status][Discuss]Description 城市C是一个非常繁忙的大都市，城市中的道路十分的拥挤，于是市长决定对其中的道路进行改造。城市C的道路是这样分布的：城市中有
2017-01-21 12:20:54
290
原创 Codeforces Round #392 (Div. 2) C. Unfair Poll
C. Unfair Polltime limit per test1 secondmemory limit per test256 megabytesinputstandard inputoutputstandard outputOn the Literature lesson Sergei noticed an aw
2017-01-20 13:04:17
215
原创 BZOJ 1085: [SCOI2005]骑士精神
1085: [SCOI2005]骑士精神Time Limit: 10 Sec Memory Limit: 162 MBSubmit: 1996 Solved: 1121[Submit][Status][Discuss]Description 在一个5×5的棋盘上有12个白色的骑士和12个黑色的骑士， 且有一个空位。在任何时候一个骑士都能按照骑士的走法（它可以走到和
2017-01-19 21:19:34
302
原创 BZOJ 1087: [SCOI2005]互不侵犯King
1087: [SCOI2005]互不侵犯KingTime Limit: 10 Sec Memory Limit: 162 MBSubmit: 3436 Solved: 1995[Submit][Status][Discuss]Description 在N×N的棋盘里面放K个国王，使他们互不攻击，共有多少种摆放方案。国王能攻击到它上下左右，以及左上左下右上右下八个方
2017-01-17 18:41:59
208
原创 Codeforces Round #387 (Div. 2) C. Servers
C. Serverstime limit per test2 secondsmemory limit per test256 megabytesinputstandard inputoutputstandard outputThere are n servers in a laboratory, each of the
2016-12-19 21:28:20
259
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人