moonshot：一个用于评估任何 LLM 应用程序的简单模块化工具

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

45. swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
46. 多模态大模型Internvl-1.5-26B微调后部署及测试实录（附代码）
47. 多模态大模型Internvl-2-26B的OCR赋能方案（附代码）
48. miniconda+xinference的大模型推理部署指南
49. Mem0：大模型最强赋能“有记忆的LLM”
50. 再谈Agent：Dify智能体实现Txet2SQL
51. Moe模式：或将是最好的大模型应用开发路径
52. 一文带你了解大模型RAG
53. 详细记录swfit微调interVL2-8B多模态大模型进行目标检测（附代码）
54. DIfy中集成magic-pdf实现文档解析agent与多模态大模型图文问答
55. 大模型Prompt trick：利用大模型同情心提升模型性能
56. 一文带你入门大模型微调
57. 开源大模型LLaMA架构介绍
58. CyberScraper-2077+simple-one-api：使用大模型爬虫
59. 大模型高效利用结构化信息研究：HTML格式或许更好
60. moonshot：一个用于评估任何 LLM 应用程序的简单模块化工具

---

---

Moonshot 由 AI Verify Foundation 开发，是首批将基准测试和红队结合在一起的工具之一，可帮助 AI 开发人员、合规团队和 AI 系统所有者评估 LLM 和 LLM 应用程序。

在这个初始版本中，Moonshot 可以通过多个界面使用：

用户友好的 Web UI - Web UI 用户指南
交互式命令行界面 - CLI 用户指南
通过 Moonshot 库 API 或 Moonshot Web API 无缝集成到您的 MLOps 工作流程中

环境需求：

Python 3.11 (We have yet to test on later releases)

Git

Virtual Environment (This is optional but we recommend you to separate your dependencies)

# Create a virtual environment
python -m venv venv

# Activate the virtual environment
source venv/bin/activate
If you plan to install our Web UI, you will also need Node.js verion 20.11.1 LTS and above

安装
要安装 Project Moonshot 的全部功能：

# Install Project Moonshot's Python Library
pip install "aiverify-moonshot[all]"

# Clone and install test assets and Web UI
python -m moonshot -i moonshot-data -i moonshot-ui

python -m moonshot web

当然我自身工作不涉及评估，有需求的网友可以测试一下看看。