保姆级教学|家庭NAS|家庭影视中心|家庭存储中心|NAS IPV6公网访问|黑群晖|纯简易上手环境搭建|AC+AP|老毛子AP公网ipv6获取|第二篇

最新推荐文章于 2025-04-14 15:44:20 发布
最新推荐文章于 2025-04-14 15:44:20 发布
阅读量1.6k 收藏 7
点赞数 8
文章标签： 服务器 linux ip bash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/newgamenew/article/details/139045563
版权

承接上篇保姆级教学|家庭NAS|家庭影视中心|家庭存储中心|NAS IPV6公网访问|域名访问影视刮削|黑群晖|纯简易上手环境搭建|第一篇

长之又长的五一终于过去了，各位的域名有没有ping同呢？其实当时你等半小时就行了，嘿嘿。现在各位DDNS-GO也配置完了，域名也能访问到自家的nas了。想必电脑也挂载上了。此篇文章主要讲老毛子AP模式下怎么获取公网ipv6。

现在就是第二步了，还有第二步？电影电视剧不是要自动跑进我的nas里面吗？啊？什么你们不是吗？介于相关z策此处添加100个省略号，来配置nastool……………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………

好了，nastool配置完了！各位genius，可以正式开启你们的电影电视剧之旅了！这篇主要讲一下，相关公网ipv6的配置。我们常见的家庭网络环境基本都是一个光猫一个路由器打

最低0.47元/天 解锁文章
碎觉觉X
关注
在 Kubernetes 中部署 Ray：详细指南
maxcode
02-26 1033
KubeRay 是 Ray 社区为 Kubernetes 提供的 Operator，它通过 Kubernetes 的自定义资源定义（CRD）来管理 Ray 集群。RayCluster：用于定义和管理 Ray 集群。RayJob：用于定义和运行 Ray 任务。RayService：用于定义和管理基于 Ray 的服务。这些 CRD 使得用户可以使用 Kubernetes 原生的方式管理 Ray 集群，包括自动扩展、资源管理、多版本支持等功能。创建一个名为的文件，定义一个 Ray 集群。
设计一个支持Spark和Ray作业类型的Scheduler调度系统的作业提交功能
最新发布
AI天才研究院
04-14 258
设计一个分布式作业调度系统，能够支持Spark和Ray两种主流计算框架的作业提交、管理和监控。系统将提供统一的API接口，简化不同框架作业的提交过程，并提供作业状态跟踪、资源管理和故障恢复等功能。
【ray】【作业的提交】
wq6qeg88的博客
03-11 848
如果需要，Ray Jobs API还提供用于编程作业提交和使用REST的作业提交的API。提交作业后，无论原始子对象的连接如何，它都会运行一次，直到完成或失败。作业绑定到Ray集群的生命周期，因此如果集群宕机，该集群上所有正在运行的作业都将被终止。在Ray集群上运行作业的推荐方法是使用Ray Jobs API，它由CLI工具、Python SDK和REST API组成。请注意，以这些方式启动的作业不由Ray Jobs API管理，因此Ray Jobs API将无法看到它们或与它们交互（
ray 集群概述
小那的博客
01-14 4059
ray 集群概述 ray的长处之一就是能够在一个程序中利用多个机器运行，在多机器的集群中才能发挥ray的真正能力。 关键的概念 ray node: ray 的集群是有一个head node和多个 worker node组成的。head node需要先启动，然后worker node使用head node的地址启动以形成集群。ray 集群自己可以做到自动缩放，可以与Cloud Provider交互，根据应用的工作负载来释放或者申请instances. ports: ray的进程是通过tcp端口号进行交流的。无
Ray on ACK 实践探索之旅 - RayCluster 篇
阿里巴巴云原生的博客
02-02 1117
Ray 是一个开源框架，专为构建可扩展的分布式应用程序而设计，旨在通过提供简单直观的 API，简化分布式计算的复杂性，让开发者能够便捷高效地编写并行和分布式 Python 应用程序。
机器学习框架Ray -- 1.3 Ray Clusters与Ray AIR的基本使用
wenquantongxin的博客
04-05 1693
Ray cluster与Ray AIR的快速安装与基本使用
Ray K8s 集群部署
Github_Lee的博客
05-23 5915
使用Kuberay Operator是官方推荐的方式，operator 提供了一种k8s原生方式的管理ray集群的方法。可以在本地 通过 Ray job submit 的方式将本地的 scripts 项目提交至 Ray 集群中执行。注意事项：我之前部署Ray 的时候有可能用的就是较早版本的 Kuberay operator。2）首先部署 kuberay operator：一个用来创建以及管理ray集群的 pod。kuberay operator已成功执行，现在可以通过它来部署一个简单的 ray集群。
【使用Ray Jobs快速入门】
wq6qeg88的博客
03-11 1398
或者，您可以通过HTTP将Ingress设置为群集的仪表板端口：https://kubernetes.io/docs/concepts/services-networking/ingress/如果您使用的是在VM或Kubernetes上启动的Ray集群，请按照那里的说明从客户端设置网络访问。对于本地集群，这个参数不是绝对必要的，但是对于远程集群，为了将工作目录上传到集群，这个参数是必需的。将作业提交到Ray仪表板使用的同一地址。接下来，查找您可以向其提交作业请求的Ray Cluster的HTTP地址。
【ray】【配置日志记录】
wq6qeg88的博客
03-12 2919
默认情况下，Ray 会删除跨多个进程冗余出现的日志的重复数据。这是代理的日志文件，包含创建或删除请求以及缓存命中和未命中的日志。有关实际安装的日志（例如，例如，如果您有大量工作角色 Actor，您可能希望轻松查看记录特定消息的 Actor 的索引。若要处理日志并将其导出到外部存储或管理系统，请查看 Kubernetes 上的日志持久性和 VM 上的日志持久性，了解更多详细信息。因此，每当您的集群或某些节点停止或终止时，日志文件都可能丢失。从广义上讲，存在两种类型的日志文件：系统日志文件和应用程序日志文件。
【ray】【核心API 】【Core API 】
wq6qeg88的博客
03-11 785
断开worker的连接，并终止ray.init（）启动的进程。获取当前driver/worker的运行时上下文。连接到现有的Ray群集或启动一个并连接到它。从对象存储区获取远程对象或远程对象列表。返回已就绪的ID列表和未就绪的ID列表。Runtime Context 数据库环境。定义一个远程函数或一个执行元类。获取工作进程可用的GPU的ID。配置并覆盖执行元实例化参数。用于获取运行时上下文的类。配置并覆盖任务调用参数。在对象存储区中存储对象。用于存储作业配置的类。获取指定参与者的句柄。或一个actor类。
【ray】【ray集群管理API】
wq6qeg88的博客
03-11 1716
This section contains a reference for the cluster management API.
Ray 单机部署&多机部署&docker部署
m0_62162986的博客
06-20 7607
本次选择的测试任务为转移概率矩阵的近似极限分布。
基于KubeRay提交RayJob
Keep Learning
05-10 1891
通过kuberay提交Ray job
学习和体验Ray on volcano
Keep Learning
05-11 1232
学习和体验Ray on volcano
KubeRay 开源项目入门指南及问题解决方案
gitblog_01227的博客
10-18 828
KubeRay 开源项目入门指南及问题解决方案 kuberay A toolkit to run Ray applications on Kubernetes 项目地址: https://gitcode.com/gh_mirror...
在甲骨文云上用 Ray +Vllm 部署 Mixtral 8*7B 模型
engchina的专栏
01-08 2170
在甲骨文云上用 Ray +Vllm 部署 Mixtral 8*7B 模型
一、初识Kubernetes
wqd2668359631的博客
05-19 732
Kubernetes是G家开源的神器，它介于应用服务与服务器之间，能够通过一定的预设策略协调和管理多个应用服务。只需要一个yaml文件，就可以定义应用程序的部署顺序、部署节点等信息。还可以实现pod的自动扩容、缩容和自动修复功能。
【ray】【Tasks 任务】【Ray remote functions】【Ray远程函数】
wq6qeg88的博客
03-11 670
Ray还支持远程生成器，允许任务一次返回一个对象，以减少工作线程的内存使用。对于每个任务，Ray将选择一个节点来运行它，调度决策基于一些因素，如任务的资源需求，指定的调度策略和任务参数的位置。在启动多个任务之后，您可能想知道哪些任务已经完成执行，而没有阻塞所有任务。由于第二个任务依赖于第一个任务的输出，所以Ray在第一个任务完成之前不会执行第二个任务。您可以在任务中指定资源要求（有关更多详细信息，请参见任务资源要求或执行元资源要求）。这样的函数被称为Ray远程函数，它们的异步调用被称为Ray任务。
vllm 0.4.3initialize_ray_cluster
03-21
<think>好的，我现在需要帮助用户解决在VLLM 0.4.3中初始化Ray集群的问题。用户提到了initialize_ray_cluster方法，但根据我的知识库，VLLM的官方文档中并没有这个函数。这可能是一个误解，或者用户可能混淆了相关的配置步骤。 首先，我需要确认VLLM与Ray的关系。VLLM确实使用Ray来管理分布式推理环境，尤其是在多GPU或多节点的情况下。通常，用户需要先启动Ray集群，然后再初始化VLLM的LLM实例。正确的步骤应该是先设置Ray，而不是直接调用一个不存在的initialize_ray_cluster方法。 接下来，我应该检查用户提到的版本，VLLM 0.4.3。在这个版本中，Ray的集成方式可能有所不同，但根据引用内容，初始化Ray集群通常是通过ray.init()来完成的，而不是VLLM内部的方法。因此，用户可能需要先正确配置Ray的环境变量，比如指定地址、节点IP等，然后启动Ray集群，再运行VLLM。 另外，用户可能希望了解如何配置多节点或多GPU的环境。这时候，需要分步骤说明如何在每个节点上启动Ray，然后连接它们形成一个集群。例如，在头节点上运行ray start --head，然后在工作节点上使用ray start --address=<head-node-ip>:6379，最后在代码中连接这个集群。 同时，需要注意VLLM在初始化LLM实例时，可以通过参数指定tensor_parallel_workers来设置使用的GPU数量，这需要Ray集群已经正确配置了这些资源。如果用户没有正确启动Ray集群，这部分可能会报错。 可能的误区是用户认为VLLM有一个内置的方法来初始化Ray集群，但实际上这是Ray本身的功能。因此，需要明确区分Ray的初始化和VLLM的初始化步骤，并给出具体的代码示例，比如如何启动Ray，然后创建LLM实例。 最后，需要验证这些步骤是否适用于VLLM 0.4.3版本，并提醒用户注意版本兼容性，以及参考官方文档的重要性。如果用户遇到问题，可能需要检查Ray的版本是否与VLLM兼容，或者查看错误日志进行调试。</think>在vLLM 0.4.3中初始化Ray集群主要通过Ray原生命令实现，vLLM本身不直接提供`initialize_ray_cluster`方法。以下是具体操作步骤： 1. **单节点初始化**（适用于单机多GPU） ```python import ray ray.init(num_gpus=4) # 根据实际GPU数量调整 from vllm import LLM llm = LLM(model="facebook/opt-125m", tensor_parallel_size=4) ``` 2. **多节点集群初始化** - 头节点执行： ```bash ray start --head --port=6379 --num-gpus=8 ``` - 工作节点执行： ```bash ray start --address=<head-node-ip>:6379 --num-gpus=8 ``` - Python代码中连接： ```python import ray ray.init(address="auto") llm = LLM(model="facebook/opt-125m", tensor_parallel_size=16) ``` **注意要点**： - 必须保证所有节点使用相同版本的Ray和vLLM - 节点间需开放6379端口通信 - GPU数量通过`tensor_parallel_size`参数配置[^1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值