【大模型从入门到精通47】LLM部署运维（LLM Ops）使用Kubeflow Pipelines掌握LLM工作流4

CircleCI 配置文件概览

CircleCI 配置文件名为 .circleci/config.yml，位于项目仓库的根目录下。此文件使用 YAML 语法定义整个 CI/CD 管道，指明如何构建、测试及部署软件。

下面是针对 Python 项目的 CircleCI 配置文件的基本示例，其中包括自动运行测试：

version: 2.1

orbs:
  python: circleci/python@1.2.0  # 使用 Python orb 来简化配置

jobs:
  build-and-test:
    docker:
      - image: cimg/python:3.8  # 指定 Python 版本
    steps:
      - checkout  # 检查源代码
      - restore_cache:  # 恢复缓存以节省依赖项安装的时间
          keys:
            - v1-dependencies-{{ checksum "requirements.txt" }}
            - v1-dependencies-
      - run:
          name: 安装依赖项
          command: pip install -r requirements.txt
      - save_cache:  # 缓存依赖项以加快未来的构建速度
          paths:
            - ./venv
          key: v1-dependencies-{{ checksum "requirements.txt" }}
      - run:
          name: 运行测试
          command: pytest  # 或任何其他命令来运行您的测试

workflows:
  version: 2
  build_and_test:
    jobs:
      - build-and-test

关键组件解释

• version: 指定 CircleCI 配置版本。截至我的最后一次更新，2.1 是常用的版本。
• orbs: Orb 是可重用的代码片段，可简化您的配置。这里使用了 Python orb 作为示例来帮助设置 Python 环境。
• jobs: 定义将运行的任务。在这个例子中，有一个名为 build-and-test 的单一任务。
• docker: 指定任务使用的 Docker 镜像。这里使用的是 CircleCI 的 Python 3.8 镜像。
• steps: 构成任务的一部分步骤，包括检查代码、恢复缓存、安装依赖项和运行测试。
• workflows: 定义运行任务的工作流。此配置具有一个单一的工作流，运行 build-and-test 任务。

自定义配置

• 根据项目的需要调整 docker 部分中的 Python 版本。
• 将 pytest 命令替换为您用于运行测试的具体命令，如有不同。
• 如果您的项目有额外的设置步骤（例如设置数据库、配置环境变量等），您可以在 jobs 部分添加更多的 - run: 步骤。

要使您的测试在 CircleCI 上自动运行，请将此 .circleci/config.yml 文件提交到您的仓库。一旦推送，如果您的 GitHub 或 Bitbucket 账户已与 CircleCI 集成，CircleCI 将自动检测配置文件，并按照您设定的规则在每次提交时运行定义的管道。

理论问题

• 设置 AI 驱动的测验生成器环境所需的必要组件是什么？
• 描述如何为生成测验问题构建数据集。包括类别和事实的例子。
• 提示工程如何影响定制化测验的生成？给出提示模板的一个例子。
• Langchain 在为 AI 模型处理提示时扮演什么角色？
• 在使用 Langchain 表达语言的背景下，测验生成管道由哪些部分构成？
• 如何通过评估函数确保生成的测验内容的相关性和准确性？
• 描述一种测试系统在某些条件下拒绝生成测验的能力的方法。
• 如何测试 AI 生成的测验问题与预期的科学主题或科目的对齐程度？
• 列出 Python 项目 CircleCI 配置文件的基本组件，包括自动测试运行。
• 讨论在 CircleCI 配置文件中定制以匹配项目特定需求的重要性。

实践问题

• 创建测验数据集：定义一个名为 quiz_bank 的 Python 字典，代表一系列测验问题，每个问题都带有主题、类别和事实，类似于给定的例子。确保您的字典允许轻松访问主题、类别和事实。
• 使用提示生成测验问题：编写一个函数 generate_quiz_questions(category)，该函数接受一个类别（例如，“历史”、“技术”）作为输入，并根据 quiz_bank 字典中的主题和事实返回一系列生成的测验问题。使用字符串操作或模板字符串构造您的测验问题。
• 实现 Langchain 提示结构化：通过定义一个函数 structure_quiz_prompt(quiz_questions) 来模拟使用 Langchain 的能力，该函数接受一系列测验问题，并返回类似概述的结构化聊天提示，无需实际集成 Langchain。
• 测验生成管道：创建一个名为 generate_quiz_pipeline() 的 Python 函数，模仿创建和执行测验生成管道的过程，使用 Langchain 组件的占位符。该函数应打印一条消息来模拟管道的执行。
• 可重用的测验生成函数：实现一个 Python 函数 generate_quiz_assistant_pipeline(system_prompt_message, user_question_template="{question}")，模拟组装生成测验所需的组件。使用字符串格式化来根据输入构建详细的提示。
• 评估生成的测验内容：编写一个函数 evaluate_quiz_content(generated_content, expected_keywords)，该函数接受生成的测验内容和预期关键字列表作为输入，并检查内容是否包含任何关键字。如果没有找到任何关键字，则引发带有自定义消息的断言错误。
• 处理无效的测验请求：设计一个函数 evaluate_request_refusal(invalid_request, expected_response)，该函数模拟评估系统对无效测验请求的响应。该函数应验证生成的拒绝响应是否与预期的拒绝响应匹配。
• 科学测验评估测试：开发一个 Python 函数 test_science_quiz()，使用 evaluate_quiz_content 函数来测试生成的科学测验是否包含与预期科学主题相关的问题，例如“物理学”或“化学”。