使用 SAX 在 TPU v5e 上部署和提供 Llama 2 模型

已于 2024-09-13 14:20:15 修改
阅读量553 收藏 9
点赞数 11
分类专栏： 开发板测评 文章标签： llama java 数据库 TPU
于 2024-09-13 10:29:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47569031/article/details/142204012
版权

创建 TPU

以下步骤展示了如何创建用于您的模型的 TPU 虚拟机。

  1. 创建环境变量：
    export PROJECT_ID=PROJECT_ID
    export ACCELERATOR_TYPE=ACCELERATOR_TYPE
    export ZONE=ZONE
    export RUNTIME_VERSION=v2-alpha-tpuv5-lite
    export SERVICE_ACCOUNT=SERVICE_ACCOUNT
    export TPU_NAME=TPU_NAME
    export QUEUED_RESOURCE_ID=QUEUED_RESOURCE_ID

环境变量说明

`PROJECT_ID`

您的 Google Cloud 项目的 ID。

`ACCELERATOR_TYPE`

加速器类型指定 您要创建的 Cloud TPU。不同大小的 Llama 2 不同的 TPU 大小要求： <ph type="x-smartling-placeholder">

</ph>+   **7B**：`v5litepod-4` 或更大
+   **13B**：`v5litepod-8` 或更大
+   **70B**：`v5litepod-16` 或更大

`ZONE`

您要在哪个[可用区](https://cloud.google.com/tpu/docs/regions-zones?hl=zh-cn)中创建 Cloud TPU。

`SERVICE_ACCOUNT`

您要关联到 Cloud TPU 的服务账号。

`TPU_NAME`

Cloud TPU 的名称。

`QUEUED_RESOURCE_ID`

已加入队列的资源请求的标识符。

  1. 在您的活跃 Google Cloud CLI 配置中设置项目 ID 和可用区：

    gcloud config set project $PROJECT_ID  && gcloud config set compute/zone $ZONE

  2. 创建 TPU 虚拟机：

    gcloud compute tpus queued-resources create ${QUEUED_RESOURCE_ID} \
  --node-id ${TPU_NAME} \
  --project ${PROJECT_ID} \
  --zone ${ZONE} \
  --accelerator-type ${ACCELERATOR_TYPE} \
  --runtime-version ${RUNTIME_VERSION} \
  --service-account ${SERVICE_ACCOUNT}

  3. 检查 TPU 是否处于活跃状态：

    gcloud compute tpus queued-resources list --project $PROJECT_ID --zone $ZONE

设置检查点转换节点

如需在 SAX 集群上运行 LLama 模型，您需要将原始 Llama 检查点设置为 SAX 兼容格式。

转换需要大量内存资源，具体取决于模型 大小：

在这里插入图片描述

对于 7B 和 13B 模型，您可以在 TPU 虚拟机上运行转换。对于 70B 模型，则需要创建一个 Compute Engine 实例， 大约 1TB 磁盘空间：

gcloud compute instances create INSTANCE_NAME --project=$PROJECT_ID --zone=$ZONE \
  --machine-type=n2-highmem-128 \
  --network-interface=network-tier=PREMIUM,stack-type=IPV4_ONLY,subnet=default \
  --maintenance-policy=MIGRATE --provisioning-model=STANDARD \
  --service-account=$SERVICE\_ACCOUNT \
  --scopes=https://www.googleapis.com/auth/cloud-platform \
  --tags=http-server,https-server \
  --create-disk=auto-delete=yes,boot=yes,device-name=bk-workday-dlvm,image=projects/ml-images/global/images/c0-deeplearning-common-cpu-v20230925-debian-10,mode=rw,size=500,type=projects/$PROJECT_ID/zones/$ZONE/diskTypes/pd-balanced \
  --no-shielded-secure-boot \
  --shielded-vtpm \
  --shielded-integrity-monitoring \
  --labels=goog-ec-src=vm_add-gcloud \
  --reservation-affinity=any

无论您使用 TPU 还是 Compute Engine 实例作为转化服务器， 设置您的服务器以转换 Llama 2 检查点：

  1. 对于 7B 和 13B 模型，将 将服务器名称环境变量设置为 TPU 的名称：

    export CONV_SERVER_NAME=$TPU_NAME

    对于 70B 模型，请将服务器名称环境变量设置为 您的 Compute Engine 实例：

export CONV_SERVER_NAME=INSTANCE_NAME

  1. 使用 SSH 连接到转化节点。

    如果您的转化节点是 TPU，请连接到 TPU：

    gcloud compute tpus tpu-vm ssh $CONV_SERVER_NAME --project=$PROJECT_ID --zone=$ZONE

    如果您的转化节点是 Compute Engine 实例，请连接到 Compute Engine 虚拟机：

    gcloud compute ssh $CONV_SERVER_NAME --project=$PROJECT_ID --zone=$ZONE

  2. 在转化节点上安装所需的软件包：

    sudo apt update
sudo apt-get install python3-pip
sudo apt-get install git-all

pip3 install paxml==1.1.0
pip3 install torch
pip3 install jaxlib==0.4.14

  3. 下载 Llama 检查点转换脚本：

    gcloud storage cp gs://cloud-tpu-inference-public/sax-tokenizers/llama/convert_llama_ckpt.py .

下载 Llama 2 权重

在转换模型之前，您需要下载 Llama 2 权重。为此 所以必须使用原始的 Llama 2 权重（例如， meta-llama/Llama-2-7b）而非 已针对 Hugging Face Transformer 格式转换的权重 （例如， meta-llama/Llama-2-7b-hf).

如果您已经有了 Llama 2 权重，请直接跳到将权重。

要从 Hugging Face Hub 下载权重，您需要将 设置一个用户访问令牌，并且 请求访问 Llama 2 模型。如需申请访问权限，请按照说明操作 找到想要使用的模型，例如 meta-llama/Llama-2-7b.

  1. 为权重创建一个目录：
 sudo mkdir WEIGHTS_DIRECTORY

  1. 从 Hugging Face Hub 获取 Llama2 权重：

    1. 安装 Hugging Face Hub CLI：

      pip install -U "huggingface_hub[cli]"

    2. 切换到 weights 目录：

cd WEIGHTS_DIRECTORY

  1. 下载 Llama 2 文件：

    python3
from huggingface_hub import login
login()
from huggingface_hub import hf_hub_download, snapshot_download
import os
PATH=os.getcwd()
snapshot_download(repo_id="meta-llama/LLAMA2_REPO", local_dir_use_symlinks=False, local_dir=PATH)

将 LLAMA2_REPO 替换为 Hugging Face 代码库的名称 您要下载的文件：`Llama-2-7b`、`Llama-2-13b`或`Llama-2-70b`。

转换权重

修改转化脚本，然后运行转化脚本来转换模型 权重。

  1. 创建一个目录来保存转换后的权重：
   sudo mkdir CONVERTED_WEIGHTS

  1. 将 Saxml GitHub 代码库克隆到您已进行读取、写入、 和执行权限：

      git clone https://github.com/google/saxml.git -b r1.1.0

  2. 切换到 saxml 目录：

    cd saxml

  3. 打开 saxml/tools/convert_llama_ckpt.py 文件。

  4. 在 saxml/tools/convert_llama_ckpt.py 文件中，将第 169 行从：

    'scale': pytorch_vars[0]['layers.%d.attention_norm.weight' % (layer_idx)].type(torch.float16).numpy()

    收件人：

    'scale': pytorch_vars[0]['norm.weight'].type(torch.float16).numpy()

  5. 运行 saxml/tools/init_cloud_vm.sh 脚本：

    saxml/tools/init_cloud_vm.sh

  6. 仅适用于 70B：关闭测试模式：

    1. 打开 saxml/server/pax/lm/params/lm_cloud.py 文件。

    2. 在 saxml/server/pax/lm/params/lm_cloud.py 将第 344 行从：

      return True

      收件人：

      return False

  7. 转换权重：

python3 saxml/tools/convert_llama_ckpt.py --base-model-path WEIGHTS_DIRECTORY \
      --pax-model-path CONVERTED_WEIGHTS \
      --model-size MODEL_SIZE

替换以下内容：

+   WEIGHTS_DIRECTORY：原始权重的目录。
+   CONVERTED_WEIGHTS：已转换权重的目标路径。
+   MODEL_SIZE：`7b`、`13b` 或 `70b`。

准备检查点目录

转换检查点后，检查点目录应包含 以下结构：

checkpoint_00000000
  metadata/
      metadata
    state/
        mdl_vars.params.lm*/
        ...
        ...
        step/

创建一个名为 commit_success.txt 的空文件，并将其副本放入 checkpoint_00000000、metadata 和 state 目录，SAX 可通过这些信息了解 确认此检查点已完全转换并可以开始加载：

  1. 切换到检查点目录：
cd CONVERTED_WEIGHTS/checkpoint_00000000

  1. 创建一个名为 commit_success.txt 的空文件：

    touch commit_success.txt

  2. 切换到元数据目录，然后创建一个名为 commit_success.txt 的空文件：

    cd metadata && touch commit_success.txt

  3. 切换到状态目录并创建名为 commit_success.txt 的空文件：

    cd .. && cd state && touch commit_success.txt

检查点目录现在应具有以下结构：

checkpoint_00000000
    commit_success.txt
metadata/
    commit_success.txt
    metadata
    state/
        commit_success.txt
        mdl_vars.params.lm*/
        ...
        ...
        step/

创建 Cloud Storage 存储桶

您需要将转换后 Cloud Storage 存储桶中的检查点 可用。

  1. 为 Cloud Storage 存储桶的名称设置环境变量：
export GSBUCKET=BUCKET_NAME

  1. 创建存储桶：

    gcloud storage buckets create gs://${GSBUCKET}

  2. 将转换后的检查点文件复制到您的存储桶：

    gcloud storage cp -r CONVERTED_WEIGHTS/checkpoint_00000000  gs://$GSBUCKET/sax_models/llama2/SAX_LLAMA2_DIR/

将 SAX_LLAMA2_DIR 替换为适当的值：

+   **70 亿**：`saxml_llama27b`
+   **130 亿**：`saxml_llama213b`
+   **700 亿**：`saxml_llama270b`

创建 SAX 集群

如需创建 SAX 集群，您需要执行以下操作：

在典型部署中，您需要在 Compute Engine 上运行管理服务器， 实例以及 TPU 或 GPU 上的模型服务器。为了 本教程中，您需要将管理服务器和模型服务器部署在同一 TPU 上 v5e 实例。

创建管理服务器

创建管理服务器 Docker 容器：

  1. 在转化服务器上，安装 Docker：

    sudo apt-get update
sudo apt-get install docker.io

  2. 启动管理服务器 Docker 容器：

    sudo docker run --name sax-admin-server \
  -it \
  -d \
  --rm \
  --network host \
  --env GSBUCKET=${GSBUCKET} us-docker.pkg.dev/cloud-tpu-images/inference/sax-admin-server:v1.1.0

您可以运行不带 -d 选项的 docker run 命令，以查看日志和 确保管理服务器正常启动。

创建模型服务器

以下部分介绍了如何创建模型服务器。

7b 模型

启动模型服务器 Docker 容器：

sudo docker run --privileged \
  -it \
  -d \
  --rm \
  --network host \
  --name "sax-model-server" \
  --env SAX_ROOT=gs://${GSBUCKET}/sax-root us-docker.pkg.dev/cloud-tpu-images/inference/sax-model-server:v1.1.0 \
  --sax_cell="/sax/test" \
  --port=10001 \
  --platform_chip=tpuv5e \
  --platform_topology='4'

13b 模型

“lm_cloud.py”中缺少“LLaMA13BFP16TPUv5e”的配置。通过 以下步骤显示了如何更新 lm_cloud.py 并提交新的 Docker 映像。

  1. 启动模型服务器：

    sudo docker run --privileged \
  -it \
  -d \
  --rm \
  --network host \
  --name "sax-model-server" \
  --env SAX_ROOT=gs://${GSBUCKET}/sax-root \
  us-docker.pkg.dev/cloud-tpu-images/inference/sax-model-server:v1.1.0 \
  --sax_cell="/sax/test" \
  --port=10001 \
  --platform_chip=tpuv5e \
  --platform_topology='8'

  2. 使用 SSH 连接到 Docker 容器：

    sudo docker exec -it sax-model-server bash

  3. 在 Docker 映像中安装 Vim：

    $ apt update
$ apt install vim

  4. 打开 saxml/server/pax/lm/params/lm_cloud.py 文件。搜索 LLaMA13B。您应该会看到以下代码：

    @servable_model_registry.register
@quantization.for_transformer(quantize_on_the_fly=False)
class LLaMA13B(BaseLLaMA):
  """13B model on a A100-40GB.

  April 12, 2023
  Latency = 5.06s with 128 decoded tokens. 38ms per output token.
  """

  NUM_LAYERS = 40
  VOCAB_SIZE = 32000
  DIMS_PER_HEAD = 128
  NUM_HEADS = 40
  MODEL_DIMS = 5120
  HIDDEN_DIMS = 13824
  ICI_MESH_SHAPE = [1, 1, 1]

  @property
  def test_mode(self) -> bool:
    return True

  5. 注释或删除以 @quantization 开头的行。在此之后 更改，文件应如下所示：

    @servable_model_registry.register
class LLaMA13B(BaseLLaMA):
  """13B model on a A100-40GB.

  April 12, 2023
  Latency = 5.06s with 128 decoded tokens. 38ms per output token.
  """

  NUM_LAYERS = 40
  VOCAB_SIZE = 32000
  DIMS_PER_HEAD = 128
  NUM_HEADS = 40
  MODEL_DIMS = 5120
  HIDDEN_DIMS = 13824
  ICI_MESH_SHAPE = [1, 1, 1]

  @property
  def test_mode(self) -> bool:
    return True

  6. 添加以下代码以支持 TPU 配置。

    @servable_model_registry.register
class LLaMA13BFP16TPUv5e(LLaMA13B):
"""13B model on TPU v5e-8.

"""

BATCH_SIZE = [1]
BUCKET_KEYS = [128]
MAX_DECODE_STEPS = [32]
ENABLE_GENERATE_STREAM = False

ICI_MESH_SHAPE = [1, 1, 8]

@property
def test_mode(self) -> bool:
  return False

  7. 退出 Docker 容器 SSH 会话：

    exit

  8. 将更改提交至新的 Docker 映像：

    sudo docker commit sax-model-server sax-model-server:v1.1.0-mod

  9. 检查是否已创建新的 Docker 映像：

    sudo docker images

    您可以将 Docker 映像发布到项目的 Artifact Registry 中 教程将继续使用本地映像

  10. 停止模型服务器。本教程的其余部分将使用更新后的模型 服务器。

```auto
sudo docker stop sax-model-server
```
  1. 使用更新后的 Docker 映像启动模型服务器。请务必指定 更新后的映像名称 sax-model-server:v1.1.0-mod：
```auto
sudo docker run --privileged \
  -it \
  -d \
  --rm \
  --network host \
  --name "sax-model-server" \
  --env SAX_ROOT=gs://${GSBUCKET}/sax-root \
  sax-model-server:v1.1.0-mod \
  --sax_cell="/sax/test" \
  --port=10001 \
  --platform_chip=tpuv5e \
  --platform_topology='8'
```

70B 型号

使用 SSH 连接到您的 TPU 并启动模型服务器：

gcloud compute tpus tpu-vm ssh ${TPU_NAME} \
 --project ${PROJECT_ID} \
 --zone ${ZONE} \
 --worker=all \
 --command="
   gcloud auth configure-docker \
     us-docker.pkg.dev
   # Pull SAX model server image
   sudo docker pull us-docker.pkg.dev/cloud-tpu-images/inference/sax-model-server:v1.1.0
   # Run model server
   sudo docker run \
     --privileged  \
     -it \
     -d \
     --rm \
     --network host \
     --name "sax-model-server"  \
     --env SAX_ROOT=gs://${GSBUCKET}/sax-root \
     us-docker.pkg.dev/cloud-tpu-images/inference/sax-model-server:v1.1.0 \
     --sax_cell="/sax/test" \
     --port=10001 \
     --platform_chip=tpuv5e \
     --platform_topology='16'
"

检查日志

检查模型服务器日志，确保模型服务器已启动 正确：

docker logs -f sax-model-server

如果模型服务器未启动，请参阅问题排查部分 。

对于 70B 模型，请对每个 TPU 虚拟机重复以下步骤：

  1. 使用 SSH 连接到 TPU：
 gcloud compute tpus tpu-vm ssh ${TPU_NAME} \
      --project ${PROJECT_ID} \
      --zone ${ZONE} \
      --worker=WORKER_NUMBER

WORKER_NUMBER 是一个从 0 开始的索引，表示您要运行哪个 TPU 虚拟机 连接。

  1. 查看日志：

    sudo docker logs -f sax-model-server

    三个 TPU 虚拟机应显示它们已连接到其他实例：

    I1117 00:16:07.196594 140613973207936 multi_host_sync.py:152] Received SPMD peer address 10.182.0.3:10001
I1117 00:16:07.197484 140613973207936 multi_host_sync.py:152] Received SPMD peer address 10.182.0.87:10001
I1117 00:16:07.199437 140613973207936 multi_host_sync.py:152] Received SPMD peer address 10.182.0.13:10001

    其中一个 TPU 虚拟机应包含显示模型服务器正在启动的日志：

    I1115 04:01:29.479170 139974275995200 model_service_base.py:867] Started joining SAX cell /sax/test
ERROR: logging before flag.Parse: I1115 04:01:31.479794       1 location.go:141] Calling Join due to address update
ERROR: logging before flag.Parse: I1115 04:01:31.814721       1 location.go:155] Joined 10.182.0.44:10000

发布模型

SAX 附带一个名为 saxutil 的命令行工具， 与 SAX 模型服务器交互。在本教程中，您将使用 saxutil 用于发布模型。如需查看 saxutil 命令的完整列表，请参阅 Saxml 自述文件 文件。

  1. 切换到您克隆 Saxml GitHub 代码库的目录：

    cd  saxml

  2. 对于 70B 模型，请连接到转化服务器：

    gcloud compute ssh ${CONV_SERVER_NAME} \
  --project ${PROJECT_ID} \
  --zone ${ZONE}

  3. 安装 Bazel：

    sudo apt-get install bazel

  4. 设置别名，以便通过 Cloud Storage 存储桶运行 saxutil：

    alias saxutil='bazel run saxml/bin:saxutil -- --sax_root=gs://${GSBUCKET}/sax-root'

  5. 使用 saxutil 发布模型。在 TPU 上大约需要 10 分钟 v5litepod-8。

    saxutil --sax_root=gs://${GSBUCKET}/sax-root publish '/sax/test/MODEL' \
        saxml.server.pax.lm.params.lm_cloud.PARAMETERS \
        gs://${GSBUCKET}/sax_models/llama2/SAX_LLAMA2_DIR/checkpoint_00000000/ \
        1

执行以下变量替换操作：

    | 模型大小 | 值 |
    | --- | --- |
    | 70 亿 | `MODEL`：llama27b  
    `PARAMETERS`：saxml.server.pax.lm.params.lm_cloud.LLaMA7BFP16TPUv5e  
    `SAX_LLAMA2_DIR`：saxml_llama27b  
     |
    | 130 亿 | `MODEL`：llama213b  
    `PARAMETERS`：saxml.server.pax.lm.params.lm_cloud.LLaMA13BFP16TPUv5e  
    `SAX_LLAMA2_DIR`：saxml_llama213b  
     |
    | 700 亿 | `MODEL`：llama270b  
    `PARAMETERS`：saxml.server.pax.lm.params.lm_cloud.LLaMA70BFP16TPUv5e  
    `SAX_LLAMA2_DIR`：saxml_llama270b  
     |

测试部署

如需检查部署是否成功，请使用 saxutil ls 命令：

saxutil ls /sax/test/MODEL

成功的部署的副本数量应该大于零， 与以下代码类似：

INFO: Running command line: bazel-bin/saxml/bin/saxutil_/saxutil '--sax_rootmgs://sax-admin2/sax-root is /sax/test/1lama27b

+----------+-------------------------------------------------------+-----------------------------------------------------------------------+---------------+---------------------------+
| MODEL    | MODEL PATH                                            | CHECKPOINT PATH                                                       | # OF REPLICAS | (SELECTED) REPLICAADDRESS |
+----------+-------------------------------------------------------+-----------------------------------------------------------------------+---------------+---------------------------+
| llama27b | saxml.server.pax.lm.params.lm_cloud.LLaMA7BFP16TPUv5e | gs://${MODEL_BUCKET}/sax_models/llama2/7b/pax_7B/checkpoint_00000000/ | 1             | 10.182.0.28:10001         |
+----------+-------------------------------------------------------+-----------------------------------------------------------------------+---------------+---------------------------+

模型服务器的 Docker 日志将类似于以下内容：

I1114 17:31:03.586631 140003787142720 model_service_base.py:532] Successfully loaded model for key: /sax/test/llama27b

INFO: Running command line: bazel-bin/saxml/bin/saxutil_/saxutil '--sax_rootmgs://sax-admin2/sax-root is /sax/test/1lama27b

问题排查

如果部署失败，请检查模型服务器日志：

sudo docker logs -f sax-model-server

为了成功部署，您应该会看到以下输出：

Successfully loaded model for key: /sax/test/llama27b

如果日志未显示模型已部署，请检查模型 配置和模型检查点的路径。

生成回答

您可以使用 saxutil 工具生成对提示的回复。

生成问题回复：

saxutil lm.generate -extra=“temperature:0.2” /sax/test/MODEL “Q: Who is Harry Potter’s mother? A:”

输出应类似如下所示：

INFO: Running command line: bazel-bin/saxml/bin/saxutil_/saxutil '--sax_rootmgs://sax-admin2/sax-root' lm.generate /sax/test/llama27b 'Q: Who is Harry Potter's mother? A: `
+-------------------------------+------------+
| GENERATE                      | SCORE      |
+-------------------------------+------------+
| 1. Harry Potter's mother is   | -20.214787 |
| Lily Evans. 2. Harry Potter's |            |
| mother is Petunia Evans       |            |
| (Dursley).                    |            |
+-------------------------------+------------+

从客户端与模型交互

SAX 代码库包含可用于与 SAX 单元交互的客户端。 客户端支持 C++、Python 和 Go。以下示例展示了 如何构建 Python 客户端。

  1. 构建 Python 客户端：

    bazel build saxml/client/python:sax.cc --compile_one_dependency

  2. 将客户端添加到 PYTHONPATH。此示例假定您的 saxml 您的主目录：

    export PYTHONPATH=${PYTHONPATH}:$HOME/saxml/bazel-bin/saxml/client/python/

  3. 从 Python shell 与 SAX 交互：

    $ python3
Python 3.10.12 (main, Jun 11 2023, 05:26:28) [GCC 11.4.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import sax
>>>

从 HTTP 端点与模型交互

如需从 HTTP 端点与模型进行交互，请创建一个 HTTP 客户端：

  1. 创建 Compute Engine 虚拟机：
    export PROJECT_ID=PROJECT_ID
    export ZONE=ZONE
    export HTTP_SERVER_NAME=HTTP_SERVER_NAME
    export SERVICE_ACCOUNT=SERVICE_ACCOUNT
    export MACHINE_TYPE=e2-standard-8
    gcloud compute instances create $HTTP_SERVER_NAME --project=$PROJECT_ID --zone=$ZONE \
      --machine-type=$MACHINE_TYPE \
      --network-interface=network-tier=PREMIUM,stack-type=IPV4_ONLY,subnet=default \
      --maintenance-policy=MIGRATE --provisioning-model=STANDARD \
      --service-account=$SERVICE_ACCOUNT \
      --scopes=https://www.googleapis.com/auth/cloud-platform \
      --tags=http-server,https-server \
      --create-disk=auto-delete=yes,boot=yes,device-name=$HTTP_SERVER_NAME,image=projects/ml-images/global/images/c0-deeplearning-common-cpu-v20230925-debian-10,mode=rw,size=500,type=projects/$PROJECT_ID/zones/$ZONE/diskTypes/pd-balanced \
      --no-shielded-secure-boot \
      --shielded-vtpm \
      --shielded-integrity-monitoring \
      --labels=goog-ec-src=vm_add-gcloud \
      --reservation-affinity=any

  1. 使用 SSH 连接到 Compute Engine 虚拟机：

    gcloud compute ssh $HTTP_SERVER_NAME --project=$PROJECT_ID --zone=$ZONE

  2. 克隆 AI on GKE GitHub 代码库：

    git clone https://github.com/GoogleCloudPlatform/ai-on-gke.git

  3. 切换到 HTTP 服务器目录：

    cd ai-on-gke/tools/saxml-on-gke/httpserver

  4. 构建 Docker 文件：

    docker build -f Dockerfile -t sax-http .

  5. 运行 HTTP 服务器：

    docker run -e SAX_ROOT=gs://${GSBUCKET}/sax-root -p 8888:8888 -it sax-http

从本地机器或能够访问端口的其他服务器测试端点 8888：

  1. 导出服务器的 IP 地址和端口的环境变量：
 export LB_IP=HTTP_SERVER_EXTERNAL_IP
    export PORT=8888
  1. 设置包含模型和查询的 JSON 载荷：
 json_payload=$(cat  << EOF
    {
      "model": "/sax/test/MODEL",
      "query": "Example query"
    }
    EOF
    )

  1. 发送请求：

    curl --request POST --header "Content-type: application/json" -s $LB_IP:$PORT/generate --data "$json_payload"

文章来源：google cloud

推荐阅读

更多芯擎AI开发板干货请关注芯擎AI开发板专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。

极术社区
关注
  • 11
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink+sklearn——使用jpmml实现flink上的机器学习模型部署
xzq1207105685的博客
04-03 3775
目录前言PMML概念使用JPMML的操作步骤训练模型——jpmml-sklearn相关项目仓库安装Python库生成pmml模型三步曲第一步——创建模型第二步——训练模型第三步——保存模型回归任务演示代码部署模型——jpmml-evaluatormaven依赖读取模型进行预测在Flink中使用总结个人感想其他说明 前言 flink1.12以后感觉真的香的一批，实时计算个人的使用感觉是比spark 的structured streaming要舒服的多。但是奈何还没有spark完善，尤其是在1.8以后，flin
使用Sax2方式解析xml
07-19 2339
strings.xml Sax2 Settings Hello world! test 将strings.xml放到android工程目录assets下 MainActivity.java package com.example.sax2; import java.io.IOException; import java.io.Inpu
java中使用SAX读取和写出XML文件
LFSenior
07-28 3947
SAX是一种事件驱动的流式XML文件处理方式，区别与DOM方式的是不需要在内存中建一棵DOM树，而是根据读取XML时遇到的标签事件来顺序处理，因此具有速度快，内存占用上的优点。SAX往往是大容量XML文件处理的首选方法，SAX读取XML相对比较简单，但是写XML就稍微比DOM方式复杂一些，网上的例子也不够全面和详细，刚好在工作中用到了XML读取和写出XML，记录下来以供参考。 读取XML文件
java使用SAX解析器解析XML文件
西凉的悲伤博客
06-13 3382
SAX，也称为Simple API for XML，是jdk自带的 用于解析 XML 文档 API。它是一种基于流的解析方式，边读取XML边解析，并以事件回调的方式让调用者获取数据。因为是一边读一边解析，所以无论XML有多大，占用的内存都很小，所以 SAX 具有高效的内存管理。 三、XmlRow类 四、SAXHandler类 五、测试 输出： 参考：Parsing an XML File Using SAX ParserParsing an XML File Using StAXexcel-xml-
xml的2种解析方式（DOM和SAX解析方式）
weixin_42472048的博客
07-28 1918
1、xml的解析的简介（*****） * dom和sax区别 ==================================================================== 1、xml的解析的简介（写到java代码）（***今天最重要的内容*****） * xml是标记型文档 * js使用dom解析标记型文档？ - 根据html...
使用libxml2对xml进行SAX读取
liuhuili23的专栏
11-23 3050
//下面的程序是从这里的例子修改过来的 //查找并打印出元素,属性值,和它的子元素值 //属性值必须在双引号里面，否则libxml通过SAX解析不了   #include #include #include #include #include #include "libxml/SAX2.h" #include "libxml/xmlstring.h" int g_elemen
libxml2的SAX和DOM模式解析文件的效率实测
波粒二象性的专栏
02-27 4383
libxml2是一个高效的xml解析库，支持多种协议，html，xml，xpath等。 具体见（http://www.xmlsoft.org/） libxml2解析xml的时候主要有DOM和SAX两种模式，本文比较此两种模式的效率。
详解POI的使用方法(DOM和SAX的方式)及存在的不足
子月生的博客
03-20 3720
本文包含以下内容，由于篇幅较长，可以根据需要选择阅读： 1. POI的介绍 2. 如何使用POI及POI的不足 3. 如何使用easyexcel
Python中使用SAX解析XML及实例
热门推荐
诺坎普奇迹的博客
08-11 1万+
在学习廖雪峰老师的Python教程时，学到了难以理解的关于SAX解析XML这一节。本文将从此节出发，逐句的分析此节的作业。其中作业来源于网友评论。 SAX解析XML速度快、占用内存小。我们只需要关注三个事件：start_element、end_element、char_data。如：当SAX在解析一个节点时<li><a href="/python">Python</a></li> 会产生三个事件：
SMV 模型检测工具的使用
jmhIcoding
12-30 5056
前言 SMV是一个符号验证工具，是一个特别经典的形式化验证工具。本博文就关于如何安装smv做一些介绍。 SMV安装 linux 源码安装 wget http://www.cs.cmu.edu/~modelcheck/smv/smv.r2.5.4.tar.gz tar -xvf smv.r.2.5.4.tar.gz cd smv make 如果报如下错误： yacc找不到 则先安装flex和bis...
J2_SolicitorsClientCaseRecord:在Windows 7上使用xml SAX dom，JDBC和mysql的Netbeans Java Swing应用程序
04-28
J2_... 该应用程序是在Windows 7上的Netbeans中创建的，它是使用mysql作为数据库后端用Java编写的，它还具有通过xml文件将数据加载到应用程序中的能力，GUI是使用Java Swing Framework编写的。
在Android3.0平台上创建和解析XML
01-31
### 在Android 3.0平台上创建和解析XML #### 知识点概述 本文主要介绍了在Android 3.0平台上创建和解析XML文档的方法。首先，我们了解到Android平台支持多种方式来处理XML数据，包括使用`javax.xml.transform....
详解android使用SAX解析XML文件
09-01
本文将深入探讨如何使用SAX解析XML，这是一种轻量级且高效的方法，尤其适合内存和计算资源有限的环境，如Android设备。 SAX（Simple API for XML）解析器遵循事件驱动模式，与DOM（Document Object Model）解析器...
java中使用sax解析xml的解决方法
09-05
5. `characters(char[] ch, int start, int length)`：此方法会在解析器读取到元素内容时被调用，参数`ch`是一个字符数组，`start`和`length`则标识了内容在数组中的起始位置和长度。 为了使用SAX解析XML，你需要...
Python使用sax模块解析XML文件示例
09-19
相较于DOM（Document Object Model）方式，sax模块在内存占用和性能方面具有明显优势。 #### 三、sax模块的基本使用流程 1. **导入sax模块**：首先需要从`xml`包中导入`sax`模块。 2. **定义ContentHandler类**：...
11、LLaMA-Factory自定义数据集微调
Andy_shenzl的博客
09-06 1104
针对实际的微调需求，使用专门针对业务垂直领域的私有数据进行大模型微调才是我们需要做的。因此，我们需要探讨如何在LLaMA-Factory项目及上述创建的微调流程中引入自定义数据集进行微调。alpaca和sharegpt。
小琳AI课堂：LLaMA 3.1 开源大模型的全新里程碑
最新发布
wx740851326的博客
09-12 317
本期的小琳AI课堂就到这里，希望对大家有所启发和帮助！如果对LLaMA模型还有更多的好奇和问题，欢迎继续提问哦！🌈👋。
大模型教程：使用 Milvus、vLLM 和 Llama 3.1 搭建 RAG 应用
python1234_的博客
09-12 299
Milvus 是一款开源的分布式向量数据库，可用于存储、索引和搜索向量数据，适用于生成式 AI（GenAI）应用。Milvus 支持 hybrid search、元数据过滤、重排（Reranking），能够高效处理万亿规模的向量，助力开发者搭建 AI 和 ML 应用。您可以在本地运行 Milvus standalone 或 cluster 版本，或者使用全托管的 Milvus 服务——Zilliz Cloud。
Llama 3.1 大模型指令微调提升中文能力
听雨草堂
09-12 72
Llama 3.1 是一个通用的大型语言模型，尽管它在多种语言上进行了训练，但在某些特定语言（如中文）上的表现可能不如专门针对该语言进行优化的模型。通过指令微调，可以提高模型在处理中文文本时的理解和生成能力。对于某些领域（如医疗、法律、科技等），可能存在大量的中文专业术语和特定表达。通过指令精调，可以让模型更好地理解和生成这些领域的中文内容。通用大模型Llama 3.1 在中文评测数据集C-Eval、CMMLU 上表现不佳，通过精调可以针对特定任务进行优化，提升模型在这些任务上的性能。
java sax 创建xml_使用SAX和Java生成XML
06-01
使用SAX和Java生成XML的步骤如下： 1. 创建一个 SAXParserFactory 实例并且用它来创建一个 SAXParser 对象。 2. 创建一个 DefaultHandler 的子类实例。 3. 调用 SAXParser 的 parse() 方法，并将 XML 文件名和 DefaultHandler 子类实例作为参数传入。 下面是一个使用 SAX 和 Java 创建 XML 文件的示例代码： ```java import javax.xml.parsers.*; import org.xml.sax.*; import org.xml.sax.helpers.*; import java.io.*; public class CreateXMLWithSAX { public static void main(String[] args) throws Exception { // 创建 SAXParserFactory 和 SAXParser 对象 SAXParserFactory factory = SAXParserFactory.newInstance(); SAXParser saxParser = factory.newSAXParser(); // 创建 DefaultHandler 的子类实例 MyHandler handler = new MyHandler(); // 调用 parse() 方法解析 XML 文件 saxParser.parse(new File("students.xml"), handler); } } class MyHandler extends DefaultHandler { // 重写 startDocument() 方法 public void startDocument() throws SAXException { System.out.println("<?xml version=\"1.0\" encoding=\"UTF-8\"?>"); System.out.println("<students>"); } // 重写 startElement() 方法 public void startElement(String uri, String localName, String qName, Attributes attributes) throws SAXException { System.out.print("<" + qName); for (int i = 0; i < attributes.getLength(); i++) { System.out.print(" " + attributes.getQName(i) + "=\"" + attributes.getValue(i) + "\""); } System.out.print(">"); } // 重写 characters() 方法 public void characters(char[] ch, int start, int length) throws SAXException { System.out.print(new String(ch, start, length)); } // 重写 endElement() 方法 public void endElement(String uri, String localName, String qName) throws SAXException { System.out.print("</" + qName + ">"); } // 重写 endDocument() 方法 public void endDocument() throws SAXException { System.out.println("</students>"); } } ``` 这个示例程序会读取名为 "students.xml" 的 XML 文件，并将其转化为以下格式的 XML： ```xml <?xml version="1.0" encoding="UTF-8"?> <students> <student id="1001">Tom</student> <student id="1002">Jerry</student> <student id="1003">Mike</student> </students> ``` 注意：这个示例程序中，MyHandler 类继承了 DefaultHandler 类，并且重写了其中的方法，这些方法会在 SAX 解析过程中被调用。在这些方法中，我们可以根据需要对 XML 文件进行处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值