- 博客(166)
- 收藏
- 关注
原创 golang context管理channel
如下图,上游的ctx只能执行很快就被cancel了,此时那启动的子协程也没有继续运行的必要,所以此时子协程也监控上游的状态,上游一结束,子协程也直接关闭了。如果多个协程之间有一定的生命周期关系,可以使用context去做退出管理。
2024-09-24 19:59:34 474
原创 kafka rebalance
https://learn.conduktor.io/kafka/consumer-incremental-rebalance-and-static-group-membership/
2024-09-23 20:11:22 100
原创 大模型-模型文件下载
直接使用git lfs clone 速度很慢,先把文件用普通方式拉下来,再去git lfs pull对应的大文件。工具:git lfs。
2023-08-09 14:50:29 279
原创 c++ 笔记
todo 完整的介绍在C++中,内存分成5个区,他们分别是堆,栈,自由存储区,全局/静态存续区,常量存续区。(1)栈:内存由编译器在需要时自动分配和释放。通常用来存储局部变量和函数参数,函数调用后返回的地址。(为运行函数而分配的局部变量、函数参数、函数调用后返回地址等存放在栈区)。栈运算分配内置于处理器的指令集中,效率很高,但是分配的内存容量有限。(2)堆:内存使用new进行分配,使用delete或delete[]释放。如果未能对内存进行正确的释放,会造成内存泄漏。
2023-05-11 16:42:02 397
原创 vscode远程免密 v
client (你面前的机器) 有私钥.ssh/id_rsaserver(被连的机器) 的~/.ssh/authorized_keys 存着本机的公钥, 就可以免密登陆。
2023-04-16 12:09:40 76
原创 git 问题总结
1、verifying git.code.oa.com/video_search_offline/transition/transferstruct@v1.0.4/go.mod: checksum mismatchdownloaded: h1:JpxB4GYHC8dumpIb0N4OiqGswmC+4lakVAoXB+jjttE=go.sum: h1:zaQIafFy9gSX1wsQlyl1l6cQFST6ODyOe1WH1KcSpb0=SECURITY ERRORThis downloa
2022-05-07 17:54:35 850
原创 scala 泛型整理
官方教程1.什么是泛型,作用2.使用类型参数[]内存放类型参数列表,下例中是一个泛型的stack,用户可以指定参数类型class Stack[A] { private var elements: List[A] = Nil def push(x: A): Unit = elements = x :: elements def peek: A = elements.head def pop(): A = { val currentTop = peek elements
2022-04-02 21:58:36 331
原创 flink-helloword
demo如下:package org.myorg.quickstartimport org.apache.flink.streaming.api.scala._object HelloWorld { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment val text = env.fromElements("1212w")
2022-03-15 00:35:17 2839
原创 Flink Execution Plan Visualization
todo参考:https://cloud.tencent.com/developer/article/1390372
2022-01-27 17:36:21 1541
原创 node 基于mac安装
查看并下载的node版本brew info nodebrew install node下载的node自带npm和npx问题:➜ ~ npx create-react-app my-appnpm ERR! code ERR_INVALID_URLnpm ERR! Invalid URLnpm ERR! A complete log of this run can be found in:执行 sudo npx create-react-app my-app,可能是权限问题...
2021-12-29 01:39:26 612
原创 flink 常见问题
flink_kafka EXACTLY_ONCEhttps://www.jenson.show/flink-kafka%E9%9B%86%E7%BE%A4%E9%97%AE%E9%A2%98producerfencedexception/2021-10-11 10:43:52,210 WARN [3226] [org.apache.flink.runtime.taskmanager.Task.transitionState(Task.java:1069)] org.apache.flink.runti
2021-10-11 11:04:26 1212 1
原创 hbase常见问题
1. hbase版本异常异常:Caused by: java.lang.RuntimeException: hbase-default.xml file seems to be for and old version of HBase (null), this version is 0.92.1 at org.apache.hadoop.hbase.HBaseConfiguration.checkDefaultsVersion(HBaseConfiguration.java:68)
2021-09-24 11:15:12 355
原创 hbase shell使用笔记
1. 连接配置配置文件: hbase/conf/hbase-site.xml在实际通过hbase shell连接时,将会使用该配置文件内的信息进行连接<configuration> <property> <name>hbase.zookeeper.quorum</name> <value>${zp_ip}</value> </property> <property>
2021-09-09 21:15:43 362
翻译 Flink网络栈 深入了解(官方翻译)
1. 导言flink的网络栈是flink运行的核心组件之一,也是每个flink job的核心。他连接着taskMangager之间的独立的工作单元(子任务,subtask)。这是你的数据的流经之地,因此他对flink的吞吐量和数据数据延迟,有者至关重要的作用。与taskManager和jobManager之间的使用RPCs via Akka协议的通道不同。taskManger之间的网络栈依赖于Netty更加低层的API。本博客是flink网络栈系列的第一篇。在本篇中,我们将先从更高层去看一下流运算符所
2021-08-25 21:56:36 531
原创 flink network buffer
反压机制flink的反压机制,在1.4和1.5版本有一个较大改动,在1.5引入了Credit反压机制。flink1.5前的反压机制问题1.5版本前反压机制会存在当一个 Task 出现反压时,可能导致其他正常的 Task 接收不到数据如上图所示,我们的任务有4个 SubTask,SubTask A 是 SubTask B的上游,即 SubTask A 给 SubTask B 发送数据。Job 运行在两个 TaskManager中, TaskManager 1 运行着 SubTask A.1 和 Sub
2021-08-16 13:51:31 764
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人