- 博客(969)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 k8s实战系列：3-存储的花样玩法(下)
中我们谈论了Docker存储，已经Kubernetes中的配置数据中的ConfigMap和Secret, 接下来我们会讨论下Kubernetes中的临时存储，持久存储等。
2022-08-23 17:40:11
6744
原创 k8s实战系列：3-存储的花样玩法(上)
容器中的应用读写数据都是发生在容器的读写层，镜像层+读写层映射为容器内部文件系统、负责容器内部存储的底层架构。当我们需要容器内部应用和外部存储进行交互时，需要一个类似于计算机 U 盘一样的外置存储，容器数据卷即提供了这样的功能。另一方面：容器本身的存储数据都是临时存储，在容器销毁的时候数据会一起删除。而通过数据卷将外部存储挂载到容器文件系统，应用可以引用外部数据，也可以将自己产出的数据持久化到数据卷中，所以容器数据卷是容器进行数据持久化的实现方式。
2022-08-23 17:30:05
6917
转载 Docker运行ubuntu22.04出现异常
通常情况下，容器里面所有的系统调用都会被docker捕获，然后docker决定如何处理它们。如果docker中没有为特定系统调用指定策略，则默认的策略会通知容器这边"Permission Denied"。由于生产环境调整docker版本不是一件容易的事情，所以生产环境在构建镜像时候要避免使用ubuntu21.10和fedora35以更高版本的镜像，以及使用它们作为基础镜像的其他镜像。不过这会有很大的问题，一个是你的容器将变得不安全，另一个是这些参数在构建镜像的时候是不可用的。的时候出现了以下报错。
2022-08-22 20:28:41
2696
1
翻译 2022 Kubernetes 批处理和HPC发展一览
Kueue 和现有的 Kubernetes 组件完美融合，不用担心功能差异，让客户使用更简单。下一步的开发计划是：与常见定制工作负载的集成：Spark、Kubeflow 等；作业抢占机制；预算管理；多集群支持。项目地址：...
2022-08-14 21:31:50
2467
1
原创 Kubernetes存储：Ceph架构，部署和使用
无论您是想为和/或服务、部署还是将 Ceph用于其他目的，所有部署都从设置每个、您的网络和 Ceph开始存储集群。一个 Ceph存储集群至少需要一个 CephMonitor、CephManager 和 CephOSD（对象存储守护进程）。运行 Ceph文件系统客户端时也需要 Ceph元数据服务器。(Ceph-mon) 维护集群状态的映射，包括监视器映射、管理器映射、OSD 映射、MDS 映射和 CRUSH 映射。这些映射是 Ceph守护进程相互协调所需的关键集群状态。......
2022-08-14 12:46:37
6180
原创 Harbor2.2 用户角色权限速查
在公共项目中，所有用户都可以查看存储库列表、镜像、镜像漏洞、helmcharts和helmcharts版本、拉取镜像、重新标记镜像（需要目标镜像的推送权限）、下载helmcharts、下载helmcharts版本。通过将用户包含在项目中并向他们分配以下角色之一，你可以向用户提供对这些镜像的访问权限。*只有Harbor系统管理员可以编辑项目配额和添加新的扫描器。用户具有不同的能力，具体取决于他们在项目中的角色。下表描述了项目中的各种用户权限级别。系统管理员拥有项目的所有权限。......
2022-07-24 15:02:39
2302
原创 Git-LFS：大文件也有了版本管理
GitHub限制存储库中允许的文件大小。如果尝试添加或更新大于50MB的文件，您将从Git收到警告。更改仍将成功推送到仓库，但您可以考虑删除提交，以尽量减少对性能的影响。GitHub阻止超过100MB的推送。要跟踪超出此限制的文件，必须使用GitLargeFileStorage(GitLFS)。更多信息请参阅“”。GitLFS”和“”。**核心思想**把需要进行版本管理、但又占用很大空间的那部分文件独立于Git仓库进行管理。...
2022-07-19 08:42:18
8688
原创 Kubectl 好用的命令行工具：oh-my-zsh 技巧和窍门
在 unix/linux 操作系统环境中，我们会经常讨论 shell、终端和命令行接口。Bash 可能是最有名的 shell，但在 Mac 电脑中，Zsh 可能是最为流行的 shell 了。Zsh 也被称为 z Shell，它扩展了 Bourne Shell (sh)的功能，提供了更新的特性以及对插件和主题的更多支持。从2019年的 MacOS Catalina 开始，Zsh 成为 Mac 电脑中默认的登录和交互式 shell。在 Mac 电脑上，你可以使用 Homebrew 来安装 Zsh。Linux(
2022-07-06 20:48:49
3794
原创 Istio1.12：安装和快速入门
Istio 使用功能强大的 Envoy 服务代理扩展了 Kubernetes，以建立一个可编程的、可感知的应用程序网络。Istio 与 Kubernetes 和传统工作负载一起使用，为复杂的部署带来了标准的通用流量管理、遥测和安全性。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pNqBrfTt-1656680343352)(https://istio.io/latest/img/service-mesh.svg)]到 Istio 发布 页面，下载针对你操作系统的安装文件，
2022-07-01 21:00:43
8354
原创 使用bitnamiredis-sentinel部署Redis 哨兵模式
获取 Bitnami Redis® Sentinel Docker 镜像的推荐方法是从Docker Hub Registry中提取预构建的镜像。要使用特定版本，你可以拉取版本化标签。你可以在 Docker Hub Registry 中查看可用版本的列表。如果你愿意，你也可以自己构建镜像。连接到其他容器使用Docker 容器网络，你的应用程序容器可以轻松访问在容器内运行的 Redis® 服务器。连接到同一网络的容器可以使用容器名称作为主机名相互通信。在此示例中，我们将创建一个 Redis® Senti
2022-06-26 20:57:10
9623
2
原创 kubernetes资源命名约束和最佳实践
客户端提供的字符串，它引用资源 URL 中的对象，例如.一次只能有一个给定类型的对象具有给定名称。但是，如果您删除该对象，您可以创建一个具有相同名称的新对象。很多资源类型需要可以用作 DNS 子域名的名称。 DNS 子域名的定义可参见 RFC 1123。 这一要求意味着名称必须满足如下规则：某些资源类型需要其名称遵循 RFC 1123 所定义的 DNS 标签标准。也就是命名必须满足如下规则：某些资源类型需要其名称遵循 RFC 1035 所定义的 DNS 标签标准。也就是命名必须满足如下规则：某些资源类型要求
2022-06-15 21:30:00
3597
原创 基于Docker快速搭建 PostgreSQL 高可用方案
此 PostgreSQL 集群解决方案包括 PostgreSQL 复制管理器()，这是一种用于管理 PostgreSQL 集群上的复制()和故障转移()的开源工具。获取 Bitnami PostgreSQL HA Docker 镜像的推荐方法是从 Docker Hub Registry 中提取预构建的镜像。要使用特定版本，你可以拉取版本化标签。 你可以在 中查看可用版本的列表。如果你愿意，你也可以自己构建镜像。持久化你的应用程序如果删除容器，所有数据都将丢失，下次运行镜像时，数据库将重新初始化。
2022-06-15 09:47:22
6781
7
原创 kubernetes多网卡方案之Multus CNI部署和基本使用
一个容器启动后，在默认情况下一般都会只存在两个虚拟网络接口（loopback和eth0），而loopback的流量始终都会在本容器内或本机循环，真正对业务起到支撑作用的只有eth0，当然这对大部分业务场景而言已经能够满足。但是如果一个应用或服务既需要对外提供API调用服务，也需要满足自身基于分布式特性产生的数据同步，那么这时候一张网卡的性能显然很难达到生产级别的要求，网络流量延时、阻塞便成为此应用的一项瓶颈。基于上述痛点和需求，容器多网络方案不断涌现。k8s有一个多网卡规范：K8sNetworkPlumbi
2022-06-08 20:48:06
1696
1
原创 Kubernetes证书类型和适用场景
我们在前面已经学习了「对称密码算法」与「非对称密码算法」两个密码学体系，这里做个简单的总结。但是非对称密码算法仍然存在一些问题:数字证书与公钥基础架构就是为了解决上述问题而设计的。首先简单介绍下公钥基础架构（Public Key Infrastructure），它是一组由硬件、软件、参与者、管理政策与流程组成的基础架构，其目的在于创造、管理、分配、使用、存储以及撤销数字证书。 PKI 是一个总称，而并非指单独的某一个规范或标准，因此显然数字证书的规范（X.509）、存储格式（PKCS系列标准、DER、PEM
2022-06-02 00:10:55
3159
1
原创 kubernetes GPU共享的困境和破局
kubernetes GPU的困境和破局随着人工智能与机器学习技术的快速发展，在 Kubernetes 上运行模型训练、图像处理类程序的需求日益增加，而实现这类需求的基础，就是 Kubernetes 对 GPU 等硬件加速设备的支持与管理。kubernetes 调度 GPU-使用篇Kubernetes 支持对节点上的 AMD 和 NVIDIA GPU （图形处理单元）进行管理，目前处于实验状态。在 GPU 的支持上，最基本的诉求其实非常简单：我只要在 Pod 的 YAML 里面，声明某容器需要的 G
2022-05-23 23:30:00
2545
转载 如何在 shell 中实现并行执行
如何在 shell 中实现并行执行今天，有个同事问我，他的 shell 中要执行一个迭代200次的循环，因为每一次循环都需要消耗一定的时间，执行起来比较慢，问我可不可以改成并行执行，循环一次执行10个任务，循环20次来完成所有的任务。什么是并行？并行，是一种常见的任务执行过程模式，指可以同时执行两个或多个程序，与之相对的则是串行。还应该注意，并行不是并发，两者之间是有明显区别的，有些开发者经常搞混。并发是指服务系统支持两个或多个任务同时存在，同时存在并不意味着同时执行，因为服务系统单位时间上只执行一个任
2022-05-21 11:39:41
20062
1
原创 Kubectl命令再也不用记了，自动补全提示真好
Kubectl命令概览Kubernetes提供的kubectl命令是与集群交互最直接的方式，v1.6版本的kubectl命令参考图如下：Kubectl的子命令主要分为8个类别：基础命令（初学者都会使用的）基础命令（中级）部署命令集群管理命令故障排查和调试命令高级命令设置命令其他命令熟悉这些命令有助于大家来操作和管理kubernetes集群。Kubectl命令行提示Bash命令提示简介kubectl 的 Bash 补全脚本可以用命令 kubectl completion b
2022-05-09 08:39:49
2818
原创 kubekey快速安装高可用k8s集群
KubeKeyKubeKey（由 Go 语言开发）是一种全新的安装工具，替代了以前使用的基于 ansible 的安装程序。KubeKey 为您提供灵活的安装选择，您可以仅安装 Kubernetes，也可以同时安装 Kubernetes 和 KubeSphere。KubeKey 的几种使用场景：仅安装 Kubernetes；使用一个命令同时安装 Kubernetes 和 KubeSphere；扩缩集群；升级集群；安装 Kubernetes 相关的插件（Chart 或 YAML）。项目地.
2022-05-02 22:54:27
6833
原创 kubespray安装高可用k8s集群
kubespray快速安装高可用k8s集群Kubespray 简介Kubespray (opens new window)是 Kubernetes incubator 中的项目，目标是提供 Production Ready Kubernetes 部署方案，该项目基础是通过 Ansible Playbook 来定义系统与 Kubernetes 集群部署的任务，具有以下几个特点：可以部署在 AWS, GCE, Azure, OpenStack 以及裸机上.部署 High Available Kube
2022-05-02 22:52:35
3943
原创 Kubernetes版本对接对象存储几种方案
Kubernetes版本对接对象存储文章目录Kubernetes版本对接对象存储对象存储社区方案方案1：Object Storage API (COSI)**[方案2：csi-s3](https://github.com/ctrox/csi-s3)**Kubernetes 要求MountFlags为什么要将S3 以文件存储的方式挂载到 Kubernetes 平台?什么是 S3FS ？后续参考链接对象存储想要通过创建 PersistentVolume（PV）/PersistentVolumeClai
2022-04-27 22:45:00
5389
转载 浅谈Kubernetes的持久化存储方案
浅谈Kubernetes的持久化存储方案一、存储的一些基本概念在谈到K8s的存储之前，我们首先介绍一下存储的一些基本分类概念。存储分类存储介质角度从存储介质角度，可分为两大类：机械硬盘：泛指采用磁头寻址的磁盘设备，包括SATA硬盘和SAS硬盘。由于采用磁头寻址，机械硬盘性能一般。固态硬盘：是指采用Flash/DRAM芯片+控制器组成的设备，根据协议的不同，又分为SATA SSD，SAS SSD，PCIe SSD和NVMe SSD等，性能较机械硬盘大幅提升。产品定义角度从产品定义角度，可
2022-04-26 16:40:52
1570
原创 K8S实战系列：2-Pod、工作负载与服务
文章系列k8s实战系列： 再谈为什么需要Kubernetes回顾容器，其实是一种特殊的进程而已。现在，你应该可以理解，对 Docker 项目来说，它最核心的原理实际上就是为待创建的用户进程：启用 Linux Namespace 配置；设置指定的 Cgroups 参数；切换进程的根目录（Change Root）Kubernetes 是云原生时代的操作系统Kubernetes 项目所做的，其实就是将“进程组”的概念映射到了容器技术中，并使其成为了这个云计算“操作系统”里的“一等公民”。
2022-04-23 19:48:39
4606
原创 解决Github不能下载，下载速度慢的小妙招
解决Github不能下载，下载速度慢的小妙招错误描述今天在github上使用 git clone 某个项目代码的时， git clone https://github.com/XXXX/xxx-blog.git 下载速度很慢，然后下载一段时间后，总是提示下面的错误信息：remote: Enumerating objects: 33, done.remote: Counting objects: 100% (33/33), done.remote: Compressing objects: 100
2022-04-13 15:58:44
19657
6
原创 基于GitHub/七牛云 + PicGo 搭建属于Typora的图床
基于GitHub/七牛云 + PicGo 搭建属于Typora的图床1 软件下载Typora 官网：TyporaPicGo 在 GitHub 上的地址：GitHub - PicGo2 方式一：GitHub2.1 创建图片库在自己的 GitHub 上创建一个库，当做图床，专门用来存储图片。具体操作流程与建仓库的流程一样。由于 GitHub 不允许存在空的仓库，也不允许存在空的文件夹，因此可以勾选默认创建一个 ReadMe 文件打开自己 GitHub 主页，点击New新建仓库。Rep
2022-04-09 21:00:00
1891
转载 6-机器学习场景下Volcano集成调度能力实践
6-机器学习场景下Volcano集成调度能力实践今天主要给大家分享如何使用Volcano调度器运行一个TF Job。今天的分享主要包括3个部分的内容：Kubeflow简介Kubeflow on Volcano演示（运行一个简单的机器学习作业）01 Kubeflow简介• Kubeflow是Kubernetes的机器学习工具包，是运行在K8s之上的一套技术栈，包括很多个组件，这些组件可以单独使用，也可以互相配合使用。• 在Kubernetes机器中上对机器学习流程中的各个阶段提供技术支持
2022-04-07 22:45:00
1053
转载 4-HPC场景下Volcano批量调度能力实践
4-HPC场景下Volcano批量调度能力实践今天的分享主要包括4个部分：什么是HPC介绍典型的气象领域HPC应用WRFVolcano如何支持传统的HPC作业在Volcano上如何运行一个例子什么是HPCHPC是高性能计算（High Performance Computing，缩写HPC） 是指利用聚集起来的计算能力来处理标准工作站无法完成的数据密集型计算任务。一般来讲，HPC指的是一个完整的HPC集群。那么提到集群，我们应该清楚它通常不止一台机器，集群是将一组松散的计算
2022-04-07 22:15:00
826
转载 5-AI场景下Volcano作业管理能力实践
5-AI场景下Volcano作业管理能力实践今天的分享主要包括4个部分：TensorFlow介绍Volcano+TensorFlow作业MindSpore介绍实践演示01TensorFlow介绍TensorFlow是深度学习领域一个非常成熟的项目，它支持了很多开发语言，比如python、C++等，还支持了多种异构平台，提供了强大的算法模型，被越来越多的开发者所使用。可按照下列步骤进行使用：构建分层神经网络输入大量数据训练模型迭代训练，调整参数计算预测和正确结果的距
2022-04-07 17:51:43
609
转载 3-大数据场景下Volcano高效调度能力实践
3-大数据场景下Volcano高效调度能力实践本文的主题是大数据场景下Volcano高效调度的实践，我大概会从主要从三个方面来介绍今天内容。首先会介绍一下Spark on Kubernetes 发展历程以及工作原理，第二部分大概介绍一下Spark with Volcano**，Volcano如何能够帮助 Spark运行地更高效**。第三部分就是操作实战，看看怎么样能够快速地把Spark on Kubernetes环境给部署起来。希望在今天这个课结束之后，大家可以很容易的去上手实践。Spark on K
2022-04-07 17:21:50
871
转载 2-Volcano架构和设计原理解读
2-Volcano设计原理随着容器技术的发展，越来越多的批量计算应用正在迁移到Kubernetes平台上，从早期的AI应用到大数据应用，再到近期的基因，转码，科学计算等HPC应用。在迁移过程中，高性能应用对Kubernetes平台提出了新的要求，例如 调度，网络和存储等。Volcano针对高性能应用场景，对 Kubernetes 进行了大量的加强，成功在AI，大数据和基因等多个高性能应用领域落地；同时，也将这些经验以开源项目的形式公开，回馈社区。本文我们会分三部分来介绍：第一部分是作业管理的设计
2022-04-07 17:00:17
1305
转载 1-Volcano火山：容器与批量计算的碰撞
1-Volcano火山：容器与批量计算的碰撞Volcano是基于Kubernetes的一个批处理调度系统，它为大数据、机器学习以及HPC等多种工作负载提供了作业生命周期的管理、调度以及资源管理一系列的功能，能够帮助弹性的工作负载以及批处理的工作负载更好的运行在云原生的环境里，同时能够提高性能、降低成本。Volcano项目背景当前容器技术的使用已经非常广泛，相对于虚拟机来讲，它提供了更好的资源使用效率，可以实现秒级扩缩容，最重要的一点就是它解决了生产、开发、测试三个环境的统一，提供了一致性的运行环境。C
2022-04-07 16:53:51
1393
转载 0-Volcano是什么，和 kube-batch与kubeflow是什么关系
前言一直想把关于资源调度及资源管理的想法和经验做一些分享，但每次因为没有找到合适的故事线而一拖再拖。Volcano开源以后，发现很多问题在没有背景的情况下很难解释清楚。因此，希望以 Volcano 为线索把资源调度及资源管理方面的想法展开。形式上就以Q&A的方式展开，省去了每次繁琐的铺垫，也可以根据情况加入或删除相应的内容。有什么问题请关注此公众号并留言，也会针对大家比较关心的留言分享一些想法。另外，想法及分享仅代表个人观点，望勿“过度”解读。1. 为什么会有 Volcano 这样一个项目？
2022-04-07 08:04:37
1000
转载 基于kubernetes调度框架的自定义调度器实现
基于kubernetes调度框架的自定义调度器实现kube-scheduler 是 kubernetes 的核心组件之一，主要负责整个集群资源的调度功能，根据特定的调度算法和策略，将 Pod 调度到最优的工作节点上面去，从而更加合理、更加充分的利用集群的资源，这也是我们选择使用 kubernetes 一个非常重要的理由。如果一门新的技术不能帮助企业节约成本、提供效率，我相信是很难推进的。调度流程默认情况下，kube-scheduler 提供的默认调度器能够满足我们绝大多数的要求，我们前面和大家接触的示
2022-04-06 21:13:00
3027
翻译 如何将k8s.io/kubernetes包导入你的项目
如何将k8s.io/kubernetes包导入你的项目问题现象用例我有一个项目，在其中，导入的包如下所示：import ( "crypto/x509" "fmt" "io/ioutil" "log" "path/filepath" "github.com/spf13/cobra" "k8s.io/client-go/util/cert" "k8s.io/client-go/util/keyutil" "k8s.io/kubernetes/test/utils")资源文件
2022-04-05 17:59:14
2081
转载 聊聊Java中那18 把锁
目录乐观锁和悲观锁独占锁和共享锁互斥锁和读写锁公平锁和非公平锁可重入锁自旋锁分段锁锁升级（无锁|偏向锁|轻量级锁|重量级锁）锁优化技术（锁粗化、锁消除）乐观锁和悲观锁悲观锁悲观锁对应于生活中悲观的人，悲观的人总是想着事情往坏的方向发展。举个生活中的例子，假设厕所只有一个坑位了，悲观锁上厕所会第一时间把门反锁上，这样其他人上厕所只能在门外等候，这种状态就是「阻塞」了。回到代码世界中，一个共享数据加了悲观锁，那线程每次想操作这个数据前都会假设其他线程也可能
2022-04-02 22:00:00
257
1
转载 数据结构01- 单链表、双端链表、双向链表、无序链表、有序链表
数据结构01- 单链表、双端链表、双向链表、无序链表、有序链表0、节点节点 是数据结构中的基础，是 构成复杂数据结构的基本组成单位。public class Node { public long data; public Node next; public Node(long value) { this.data = value; } }1、链表的定义链表：通常由一连串 节点 组成，每个节点包含任意的实例数据（data fields）和一或两个用来指向 上一个 或 下一个
2022-03-31 21:12:21
5186
转载 find 命令小手册
find 命令小手册Linux find 命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时，不设置任何参数，则 find 命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。语法find path -option [ -print ] [ -exec -ok command ] {} \;参数说明 :find 根据下列规则判断 path 和 expression，在命令列上第一个 - (
2022-03-26 19:15:32
283
原创 docker 没有 /sys/fs/cgroup/cpu/docker这个目录
docker 没有 /sys/fs/cgroup/cpu/docker这个目录问题现象用户执行 docker run 时的参数指定cpu了，比如这样一条命令：docker run -d --name test-cpu --cpu-period=100000 --cpu-quota=20000 nginx在启动这个容器后，我们可以通过查看 Cgroups 文件系统下，CPU 子系统中，“docker”这个控制组里的资源限制文件的内容来确认：预期效果cat /sys/fs/cgroup/cpu/
2022-03-24 23:30:00
3956
原创 k8s实战系列： 1-再谈为什么需要Kubernetes
k8s系列： 再谈为什么需要Kubernetes容器解决了什么？又遇到了什么问题容器，到底是怎么一回事儿？在Docker出现之前，最为流行的是PaaS 项目。PaaS 项目被大家接纳的一个主要原因，就是它提供了一种名叫“应用托管”的能力。像 Cloud Foundry 这样的 PaaS 项目，最核心的组件就是一套应用的打包和分发机制。更好地模拟本地服务器环境，能带来更好的“上云”体验。Cloud Foundry 会调用操作系统的 Cgroups 和 Namespace 机制为每一个应用单独创建一
2022-03-24 18:54:03
10783
5
原创 iptables常用命令小清单
iptables常用命令小清单iptables简介iptables 是集成在 Linux 内核中的包过滤防火墙系统。使用 iptables 可以添加、删除具体的过滤规则，iptables 默认维护着 4 个表和 5 个链，所有的防火墙策略规则都被分别写入这些表与链中。**“四表”**是指 iptables 的功能，默认的 iptable s规则表有 filter 表（过滤规则表）、nat 表（地址转换规则表）、mangle（修改数据标记位规则表）、raw（跟踪数据表规则表）：filter 表：控制
2022-03-23 21:45:00
7684
MySQL：使用mysqldump在Windows数据库定时备份
2020-12-11
nssm-2.24-103.zip
2020-12-11
Domain Driven Design (DDD Classic by Eric Evans).pdf
2020-02-02
Linux--Java环境搭建（Jdk8、MySQL5.7、Redis3.2）
2019-04-20
idea ：插件Statistic 统计代码数量和行数
2018-12-21
luke-6.6.0
2018-07-24
grafana-4.6.2.linux-x64.tar.gz
2017-11-23
阿里巴巴Java开发手册(终极版).pdf
2017-09-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人