Bert训练小型RAG分块器 BertChunker: Efficient and Trained Chunking for Retrieval Augmented Generation 本项目旨在为RAG训练一个分块器，作为的一个有效替代。共构造了 50 MB 数据集，在 NVIDIA P40 上训练了10分钟。模型大小 89 MB.
LLM-Data-Cleaner：用大模型批量处理数据，现支持各种大模型做OCR，支持通义千问, 月之暗面, 百度飞桨OCR, OpenAi。 用大模型来批量预处理数据，以支持科研目的。现阶段支持OCR功能, 支持使用的大模型有 qwen(通义千问), moonshot(月之暗面), PaddleOCR(百度飞桨OCR), openai。
chats-crawler：论坛对话数据爬取和解析，直接用于大模型指令微调 Discourse 类型论坛网站的对话数据爬取和解析，以直接用于大型语言模型（LLM）指令微调。数据包括文本、图片（多模态指令微调）和链接。不久将支持更多聊天对话网站。
Vecparser: 向量化任意层Matlab, CVX 的for循环的语法解析器 [向量语法解析器](https://img-blog.csdnimg.cn/direct/111fc0950b5f4067bb1a298a36875bcc.png#pic_center)| 简体中文Vecparser 是一个自动将任意层 for 循环（在 MATLAB、CVX 中）尽可能向量化的解析器，由此节省大量的程序运行时间。
MATLAB或CVX中的for循环避免(三) MATLAB 或 CVX (一种凸优化建模工具)中用 for 循环初始化或者表达变量约束，会导致程序运行时间大大增加。承接上一篇MATLAB或CVX中的for循环避免(二)，本篇讲述和发布一个自动向量化常用CVX和MATLAB中for循环的字符串处理程序，内嵌到MATLAB里，可在需要向量化的for循环前声明和调用。以后可能有空会写这一篇。* 纪念学生生涯的最后时光 却纵有 太多 、太多 的遗憾。...
MATLAB或CVX中的for循环避免(二) MATLAB 或 CVX (一种凸优化建模工具)中用 for 循环初始化或者表达变量约束，会导致程序运行时间大大增加。承接上一篇MATLAB或CVX中的for循环避免，本篇讲述如何向量化形如以下的约束：xab+yc≤3,∀a≠b,c<a,c2a3<3....{x_{ab}} + {y_c} \le 3,\forall a e b,c < a,{c^2}{a^3} < 3....xab+yc≤3,∀a=b,c<a,c2a3<3....方法可用于后
MATLAB或CVX中的for循环避免 CVX约束的for循环避免CVX中用for循环初始化或者表达变量约束，会大大增加程序运行的时间。因此可尝试用以下几种操作组合将大部分的for循环写为矩阵运算：命令作用repmat扩充变量(矩阵)的维度permute置换变量(矩阵)的维度reshape修改变量(矩阵)的形状示例KaTeX parse error: Expected group after '_' at position 14: f({x_{ab}},{y_̲}) \le 0提示：这里可以添
关注
