云原生
文章平均质量分 89
云原生、容器、k8s学习博客
Pistachiout
记录学习
展开
-
蚂蚁开源大模型容错框架DLRover介绍
ElasticDL基于 TensorFlow 2.0 和 Kubernetes 的弹性分布式深度学习框架。不同于 Kubeflow/TF-operator 给每个集群部署一个 Kubernetes Operator 的方式, ElasticDL 为每个作业引入一个 master 进程。通过调用 Kubernetes API,master 进程了解集群情况;原创 2024-08-04 21:31:04 · 666 阅读 · 0 评论 -
云原生机器学习平台cube-studio开源项目及代码简要介绍
cube-studio是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务原创 2023-12-27 15:26:16 · 3713 阅读 · 8 评论 -
在物理机内的虚机创建进入容器,执行命令时提示权限不够
查阅资料后发现,具体原因可能是因为安全模块selinux把权限禁掉了,因此我们在启动容器时,给容器加特权,及加上 --privileged=true 参数,如下所示。在服务器上创建容器后,run -it 进入容器后执行命令,却提示权限不够,如下所示。原创 2023-10-27 11:05:00 · 262 阅读 · 0 评论 -
K8s(Kubernetes)学习(七)——k8s持久化存储:emptyDir、local、nfs、PV&&PVC静态供给&动态供给、configMap、secret
在 Kubernetes 中,ConfigMap 是一种用于存储非敏感信息的 Kubernetes 对象。它用于存储配置数据,如键值对、整个配置文件或 JSON 数据等。ConfigMap 通常用于容器镜像中的配置文件、命令行参数和环境变量等。环境变量注入:将配置数据注入到 Pod 中的容器环境变量中。配置文件注入:将配置数据注入到 Pod 中的容器文件系统中,容器可以读取这些文件。命令行参数注入:将配置数据注入到容器的命令行参数中。基本操作。原创 2023-09-25 16:10:28 · 514 阅读 · 0 评论 -
K8s进阶之网络:pod内不同容器、同节点不同pod通信、CNI插件、不同节点pod通信、Flannel容器网络、Serivce连接外部网络、服务发现、Nginx反向代理与域名、Ingress代理
CNI如Calico、flannel等本身并不能提供网络服务,它只是定义了对容器网络进行操作和配置的规范。CNI仅关注在创建容器时分配网络资源,和在销毁容器时删除网络资源。常见的CNI插件包括Calico、flannel等。具体的流程如下图所示:在集群里面创建一个 Pod 的时候,首先会通过 apiserver 将 Pod 的配置写入。apiserver 的一些管控组件(比如 Scheduler)会调度到某个具体的节点上去。原创 2023-09-21 10:34:51 · 3827 阅读 · 0 评论 -
K8s(Kubernetes)学习(四):Controller 控制器:Deployment、StatefulSet、Daemonset、Job
Kubernetes 通常不会直接创建 Pod, 而是通过 Controller 来管理 Pod 的。Controller 中定义了 Pod 的部署特性,比如有几个副本、在什么样的 Node 上运行等。通俗的说可以认为 Controller 就是用来管理 Pod 一个对象。其核心作用可以通过一句话总结: 通过监控集群的公共状态,并致力于将当前状态转变为期望的状态。通俗定义: controller 可以管理 pod 让 pod 更具有运维能力。原创 2023-09-06 14:16:17 · 752 阅读 · 0 评论 -
K8s(Kubernetes)学习(二):k8s集群搭建
k8s集群搭建方式1.minikube2.裸机安装3.直接用云平台Kubernetes4.k3s搭建原创 2023-06-27 10:37:02 · 2568 阅读 · 0 评论 -
K8s(Kubernetes)学习(三):pod概念及相关操作
Pod 是可以在 Kubernetes 中创建和管理的、最小的可部署的计算单元。Pod(就像在鲸鱼荚或者豌豆荚中)是一组(一个或多个)容器; 这些容器共享存储、网络、以及怎样运行这些容器的声明。 Pod 中的内容总是并置(colocated)的并且一同调度,在共享的上下文中运行。简言之如果用 Docker 的术语来描述,Pod 类似于共享名字空间并共享文件系统卷的一组容器。原创 2023-06-27 11:16:00 · 4838 阅读 · 1 评论 -
云原生入门
云原生是一种设计和构建应用程序的方法,它充分利用了云计算的优势,如弹性、可扩展性、自动化和敏捷性。云原生应用程序不仅可以在云中运行,而且是为云而生的,它们采用了一些新式的技术和架构模式,使得应用程序可以快速响应市场变化,提高用户体验和业务价值。在本文中,我们将介绍云原生的概念、特点、技术和应用场景,以及云原生的挑战和趋势。原创 2023-04-19 18:13:35 · 997 阅读 · 0 评论 -
Docker容器核心技术:Linux命名空间Namespaces、控制组cgroups、联合文件系统UnionFS
Docker 使用 Google 公司推出的 Go 语言 进行开发实现,基于 Linux 内核的 cgroup,namespace,以及 OverlayFS 类的 Union FS 等技术,对进程进行封装隔离,属于 操作系统层面的虚拟化技术。由于隔离的进程独立于宿主和其它的隔离的进程,因此也称其为容器。原创 2023-05-30 16:51:42 · 1622 阅读 · 0 评论 -
K8s(Kubernetes)学习(一):k8s概念及组件
而Kubernetes就是一个开源容器集群管理系统,可以在物理或虚拟机的Kubernetes集群上运行容器化应用,提供一个以“容器为中心的基础架构”,实现容器集群的自动化部署、自动扩缩容、维护等功能。在生产环境中, 需要管理运行着应用程序的容器,并确保服务不会下线。 例如,如果一个容器发生故障,则你需要启动另一个容器。 这就可以交给Kubernetes ,它提供了一个可弹性运行分布式系统的框架。Kubernetes 可以通过一个命令为你提供集中式的管理集群机器和应用,加机器、版本升级、版本回滚。原创 2023-05-14 18:27:08 · 5162 阅读 · 0 评论