算力共享中：推断引擎 DynamicShardInferenceEngine；语言推断-输入文本推断：infer_prompt；神经网络中权重推断：nfer_tensor

目录

 DynamicShardInferenceEngine

属性

方法

根据给定的提示（prompt）在指定的分片（shard）上进行推理async def infer_prompt(self, shard: Shard, prompt: str, inference_state: Optional[str] = None) -> (np.ndarray, str, bool)

数字权重推断：它接受一个NumPy数组（input_data）作为输入 async def infer_tensor(self, shard: Shard, input_data: np.ndarray, inference_state: Optional[str] = None) -> (np.ndarray, str, bool)

async def reset_shard(self, shard: Shard)

async def ensure_shard(self, shard: Shard)

总结

StandardNode

get_current_shard

map_partitions_to_shards

---

 DynamicShardInferenceEngine

这段代码定义了一个类，是为了处理分布式或分片模型中的推理任务而设计的。它包含几个关键的方法和属性，用于与模型的分片进行交互，执行推理任务，并管理模型的状态。下面是对这些方法和属性的详细解释：

属性

• self.shard: 用于存储当前正在使用的模型分片的引用。初始时设置为None，表示没有当前分片。