窦小雨的小点子

整个链路终于要连通啦~这次从fe出发，看一下从发送 creatematerialized view开始，发生了什么。首先是fe监听到sql，入口为：ConnectProcessor.java :: processOnce （处理一次sql请求），然后根据不同的sql类型，分发到不同的handle去处理。创建物化视图属于ddl操作，分发到 DdlExecutor 去执行，根据stmt判断Ddl类型为创建物化视图，然后转到alter.MaterializedViewHandler::processCr.

好吧，在理解完compaction流程之后，发现问题还是没有解决，那么就一起来看下 一个 alter task提交到doris之后经历了什么吧！ （rollup也是alter table）背景知识：由AgentServer提供统一的接口，内部通过task pool方式来调度各种任务。入口：olap/task/engine_alter_tablet_task.cpp :: execute()→ process_alter_tablet_v2()1、先来看下request的关键参数ba...

背景知识：Doris中compaction分为两种：BASE_COMPACTION 和CUMULATIVE_COMPACTION1、首先从 olap_server.cpp 中 start_bg_threads 开始启动各种流程compaction入口：StorageEngine::_compaction_tasks_producer_callback()如果没有禁止 disable_auto_compaction 则每进行 cumulative_compaction_rounds_for.

什么是Flink大状态存储？举个栗子。现有用户访问流数据，需统计每个用户PV，用户量级为3亿。如何计算？假定每个用户ID为50字节。那么3亿用户ID的存储需要：50 b * 3 亿 ≈ 13 G ，那么可以直接存在job内存中，如果担心job重启，内存数据丢失，可以放在redis中，或者Aerospike（一种用磁盘的kv存储）。那如果状态再大一些呢？再举个栗子：某广告场景下，点击数据需要根据请求ID 到请求日志中取相关维度信息。假设请求发生后，24小时之内，都有可能发生点击，那么就需要将请求.

活法读后感作者书中讲到：人与宇宙之间是紧密相连的，人是组成宇宙的一部分，人的一切行为都受到来自宇宙或者宇宙之外的神秘力量所指引，因为宇宙也是从无到有，进而诞生生命的一个过程。这个神秘力量便引导着整个宇宙发展。人与宇宙是否有联系？或者说小一点，人与所生活的周遭环境是否有联系？这是一个挺有意思的问题。因为在这之前我也有过类似的想法。举个栗子，上大学的时候，如果自己某段时间在认真学习，积极去做各种事情，那么总是感觉好运连连。而如果自己某段时间总是逃课打游戏，那么便会遇到诸多不顺，烦...

什么是黑天鹅？很久很久以来人们见到的天鹅都是白色的，于是人们定义：天鹅都是白色的。直到有一天，人们突然发现了一只黑色的天鹅，一下子，人们若干年的观察都被推翻了：天鹅不一定都是白色的。然而为什么人们观察到的天鹅都是白色的呢？因为黑色的天鹅比较稀少，所以人们的样本不足，得出了天鹅都是白色的这一错误推论。黑天鹅于是借指一些发生概率比较小，但是一旦发生，对当前产生巨大影响...

开篇的灵魂拷问：我现在的水平我要到达的水平我该怎么做？现在的水平：菜，贼菜，巨菜要达到的水平：阐述一件自己平常的事情，旁人听来却像在吹牛*该怎么做：睡觉。（梦里实现）。手动狗头hhhh正经点，所谓的10x程序员，是说大佬程序成的工作效率是普通程序员的10倍。也许有点夸张，但是重点思想是没错的，效率高效与否，最后结果真的差别很大。读过两本讲工作效率的...

首先定义了几种错误ErrBodyNotAllowed = errors.New(“http: request method or response status code does not allow body”)ErrHijacked = errors.New(“http: connection has been hijacked”)ErrContentLength = errors.Ne...

假设数据长度为n  那么为每个待排序数创建一个线程，每个线程休眠 arr[ i ] ms 然后每个线程醒来后自己报数~~看代码func main() { arr := []int{5, 6, 2, 4, 3, 7, 9, 1, 8} for _, v := range arr { go func(i int) { time.Sleep(time.Millisecond * ...

计价模式CPA(Cost-per-Action) ：每行动成本每次行动的费用，即根据每个访问者对网络广告所采取的行动收费的定价模式。对于用户行动有特别的定义，包括形成一次交易、获得一个注册用户、或者对网络广告的一次点击等。CPA=总成本/转化次数CPA计价方式是指按广告投放实际效果，即按回应的有效问卷或定单来计费，而不限广告投放量。CPA的计价方式对于网站而言有一定的风险，但若广告...

 list 底层结构struct listNode{ struct listNode *prev; struct listNode *next; void *value;}struct list{ listNode *head; listNode *tail; unsigned long len; void *(*dup)(vo...

redis字符串 底层机构struct sdshdr{ int len; int free; char buf[];}redis 字符串的内存管理策略：1. 空间预分配 （1） 如果修改后成都小于 1MB 预分配的 free 等于修改后的len（2）如果大于 1MB 预分配的 free = 1 MB实际内存 = len + free +1byt...

在包中，任何顶级声明前面的注释都将作为该声明的文档注释。在程序中，每个可导出（首字母大写）的名称都应该有文档注释包应当以小写的单个单词来命名，且不应使用下划线或驼峰记法。长命名并不会使其更具可读性。一份有用的说明文档通常比额外的长名更有价值。关于不写分号：和 C 一样，Go 的正式语法使用分号来结束语句；和 C 不同的是，这些分号并不在源码中出现。 取而代之，词法分析器会使用一条简...

其实我是一脸懵逼的   啥玩意啊暂时还不知道  docker 有啥用先make docker 部署mysql 服务https://blog.csdn.net/bingzhongdehuoyan/article/details/79412914

开源库redigogo get github.com/garyburd/redigo/redis 连接redisredis.Dial("tcp","127.0.0.1:6379")简单读写操作（写入的值不会过期SET keyGET keyEXISTS keyDEL key [key …]c.Do("SET", "mykey", "superWang")...

为什么使用redis？我们在碰到需要执行耗时特别久，且结果不频繁变动的SQL，把sql结果放入缓存，那么就能大大提高读取的性能在大量并发情况下，例如 秒杀   如果每个请求都去 链接数据库 势必会发生一些不可描述的事情 为啥  redis  速度快呢？（redis 是单线程工作机制  避免了山下文切换采用了 非阻塞多路 io 复用纯内存操作  不需要 io 读取 ...

安装    go get -u -v github.com/kardianos/govendorvendor 用来管理 golang 项目包（解决很烦人的导包问题使用#进入到项目目录cd /home/gopath/src/mytool#初始化vendor目录govendor init#查看vendor目录[root@CC54425A mytool]# lscom...

chan + select 是go 中比较优雅结束一个 goroutine 的方式   但是当goroutine 衍生出其他更多的 goroutine 的时候怎么管理呢？Context 就提供这么一种处理的方法   我看大佬们都称之为 上下文   0.0context.Background() 返回一个空的Context我们可以用这个 空的 Context 作为 goroutine 的...

初始化一个Git仓库，使用git init命令。添加文件到Git仓库，分两步：使用命令git add <file>，注意，可反复多次使用，添加多个文件； 使用命令git commit -m <message>，完成。 HEAD指向的版本就是当前版本，因此，Git允许我们在版本的历史之间穿梭，使用命令git reset --hard commit_id。 ...

514class Solution {public:    /*     * @param n: non-negative integer, n posts     * @param k: non-negative integer, k colors     * @return: an integer, the total number of ways     */