jiuweiC的博客

原创 spark-scala 常见算子

【代码】spark-scala 常见算子。

原创 hive 笔记

原创 linux文件权限管理

其中，a表示所有用户，+表示添加权限，权限可以是r（读权限）、w（写权限）或x（执行权限）的组合。这样所有用户都会具有执行该目录及其中所有文件的权限。这样所有用户都会具有读写该文件的权限。递归对文件夹下所有文件进行权限修改。

原创 docker使用

【代码】docker使用。

原创 spark jar依赖顺序

如果环境没有依赖的且不想打包到自己的项目jar里面时，可以使用该方式。Spark-submit --jars 提交的依赖包。

原创 This build of IntelliJ IDEA has expired. The IDE will now close.

注意不是删除IntelliJ 安装本地的文件，是远端机器的文件。在要访问的ssh机器上。

原创 golang笔记

go build -v -x -work -o bin/hello src/main.go

原创 spark环境搭建

https://moonce.blog.csdn.net/article/details/123337486https://blog.csdn.net/qq_31635851/article/details/123338562

原创 linux GO版本更新

https://blog.csdn.net/qq_29695701/article/details/82744684

原创 linux GO版本更新

https://blog.csdn.net/qq_29695701/article/details/82744684

原创 embedding模型

https://arthurchiao.art/blog/rag-basis-bge-zh/https://www.cnblogs.com/xiaoqi/p/18143552/bge-m3

原创 日语es检索

参考： https://juejin.cn/post/6844903854337687559。

原创 k8s-golang获取健康状态ip

【代码】k8s-golang获取健康状态ip。

原创 golang反射函数注册

Dt := reflect.TypeOf(controller) // 这里可以拿到两个方法。// 这样就避免了 在创建新的实例的之后 结构体的方法中接受者为指针类型的不可见的问题。// 获取变量的 reflect.Type。// New 通过反射创建出新一个对象。// 为什么这样设计。

原创 ES 自定义排序方式

es默认score是根据query的相关度进行打分的，具体打分机制可以参见：官方文档。如果召回时既希望有相关性又能根据其他信息进行排序。例如小红书搜索的时候，可能既希望有召回相关度又能根据热度信息（如果喜欢、收藏等等参数去进行召回）具体使用方式：script_score 查询 官方文档参考：ES自定义评分机制:function_score查询详解

原创 golang context管理channel

如下图，上游的ctx只能执行很快就被cancel了，此时那启动的子协程也没有继续运行的必要，所以此时子协程也监控上游的状态，上游一结束，子协程也直接关闭了。如果多个协程之间有一定的生命周期关系，可以使用context去做退出管理。

原创 kafka rebalance

https://learn.conduktor.io/kafka/consumer-incremental-rebalance-and-static-group-membership/

原创 布隆过滤器详解

布隆过滤器详解。

原创 gRPC Connection reset by peer

https://lvlv.fun/posts/2019-07-22/

原创 node 环境问题

如果node版本过低，git也会报错。本地node版本太低一直升级不成功。

原创 docker安装

【代码】docker安装。

原创 大模型-模型文件下载

直接使用git lfs clone 速度很慢，先把文件用普通方式拉下来，再去git lfs pull对应的大文件。工具：git lfs。

原创 向量数据库

数据在存入向量数据库前，需先做embedding转化为向量。

原创 特征向量与one-hot（独热）编码

https://cloud.tencent.com/developer/article/1688022

原创 doker简单使用

doker简单使用。

原创 vscode c++ 无法include

vscode需要知道你引入的那些包在哪里。

原创 c++ 笔记

todo 完整的介绍在C++中，内存分成5个区，他们分别是堆，栈，自由存储区，全局/静态存续区，常量存续区。（1）栈：内存由编译器在需要时自动分配和释放。通常用来存储局部变量和函数参数，函数调用后返回的地址。（为运行函数而分配的局部变量、函数参数、函数调用后返回地址等存放在栈区）。栈运算分配内置于处理器的指令集中，效率很高，但是分配的内存容量有限。（2）堆：内存使用new进行分配，使用delete或delete[]释放。如果未能对内存进行正确的释放，会造成内存泄漏。

原创 c++ 构建与依赖管理

构建工具cmake依赖查看：ldd

原创 vscode远程免密 v

client (你面前的机器) 有私钥.ssh/id_rsaserver(被连的机器) 的~/.ssh/authorized_keys 存着本机的公钥, 就可以免密登陆。

原创 硬件编解码在gpu的情况

硬件编解码

原创 小说。。。

。。

原创 supervisor笔记

笔记

原创 c++ 多线程分发任务，堵塞等待执行结果

多线程

原创 Cgo go slice 转c数组

cgo 数组转换

原创 cgo 调试

cgo 的调试

原创 redis笔记

redis

原创 linux装机

linux 装机

原创 Opengl win10环境

opengl win10环境搭建

原创 Mysql笔记

mysql笔记

原创 Kafka鉴权

kafka鉴权