【Rust日报】llm_client - 在本地使用大型语言模型

Ygen - 使用内存安全的API构建快速和简洁的编译器

Ygen是一个工具包,旨在使用内存安全的API构建快速和简洁的编译器。它的主要目标是简单性,API类似于LLVM,大量使用trait来重载函数。该项目目前处于早期开发阶段,可能存在bug和错误编译。仅建议用于玩具编译器。

该介绍提供了一个简单的示例,展示了如何使用Ygen构建一个加法函数。代码生成了一个将两个整数相加的IR函数,并将其打印出来。还提到可以将IR编译为汇编代码。

最后,该仓库由Cr0a3拥有,使用Apache 2.0许可证。目前Ygen支持x64架构的完整IR,但尚不支持完整的ISA。

https://github.com/Cr0a3/ygen

llm_client - 在本地使用大型语言模型

llm_client用于在本地使用大型语言模型(LLM)。它支持CPU、CUDA和MacOS,并提供了对常见模型的预设配置。主要特点包括:

1. 自动构建并支持CPU、CUDA和MacOS。

2. 提供预设模型和量化选择。

3. 支持级联提示工作流,用于对因果推理(CoT)和自然语言处理任务。

4. 广泛的配置选项,如采样器参数、重试逻辑、提示缓存、logit偏差和语法。

5. 支持OpenAI、Anthropic、Perplexity和任何兼容OpenAI的API。

6. 提供从概率LLM输出中获取确定性信号的接口。

7. 实现了专门的工作流来约束和控制生成输出,以获得可重复的结果。

8. 提供了一些示例,如基本完成、返回原语、推理和决策。

9. 包含对Nvidia GPU功耗的限制。

10. 使用了llama.cpp进行LLM推理,并支持mistral.rs。

https://github.com/shelbyJenkins/llm_client

grip-grab - 一个更轻量级的ripgrep替代品

grip-grab工具是一个更轻量级的ripgrep替代品,用于日常搜索用例。文档介绍了安装方法、基准测试结果、用法和示例等内容。

主要内容包括:

1. 安装说明,使用cargo install grip-grab进行安装。

2. 基准测试结果,在小到中等规模的代码库上,gg通常比ripgrep更快。但在大型代码库和多CPU机器上,ripgrep可能更快。

3. 用法说明,gg命令的选项和参数的使用方式。

4. 示例,展示了gg的一些基本用法,如搜索模式、JSON输出、只显示文件名等。

5. 说明gg工具主要基于ripgrep的几个crate,旨在提供一个轻量级的搜索工具,可便于集成到其他程序中。

总的来说,这是一个提供文本搜索功能的命令行工具,相比ripgrep更加轻量,在特定场景下性能更优,可作为日常使用的替代品。

https://github.com/alexpasmantier/grip-grab

--

From 日报小组 Mike

社区学习交流平台订阅：

• Rustcc论坛: 支持rss

• 微信公众号：Rust语言中文社区