Dragonfly 在 Kubernetes 多集群环境下分发文件和镜像

最新推荐文章于 2024-09-05 08:49:45 发布
最新推荐文章于 2024-09-05 08:49:45 发布
阅读量266 收藏
点赞数
文章标签： kubernetes 容器 云原生
原文链接：https://mp.weixin.qq.com/s?__biz=MzUzMzU5Mjc1Nw==&mid=2247540111&idx=1&sn=4cf998d461908b14edb0b2aa3e3145d5&chksm=faa3b255cdd43b431efbfb1af6dc726cbad961315ed9cc35d9b315ead8dae626b7f302d92c1a&scene=126&sessionid=0
版权

94e0d01ba0fb7b516db10c57ea0c535e.gif

文｜戚文博（花名：百蓦）

Dragonfly Maintainer

蚂蚁集团软件工程师

24a2a759edc5e634eefe4135f7c30e5d.jpeg

主要负责「基于 P2P 的文件分发以及镜像加速系统」。

本文 2036 字 阅读 8 分钟

Dragonfly 提供高效、稳定、安全的基于 P2P 技术的文件分发和镜像加速系统，并且是云原生架构中镜像加速领域的标准解决方案以及最佳实践。现在为云原生计算机基金会（CNCF）托管作为孵化级（Incubating）项目。

文章主要阐述如何在多集群环境下部署 Dragonfly。一个 Dragonfly 集群管理一个单独网络环境的集群，如果有两个集群是相互隔离的网络环境，就需要有两个 Dragonfly 集群管理各自的集群。

推荐用户在多 Kubernetes 集群场景下，使用一个 Dragonfly 集群管理一个 Kubernetes 集群，二者 1:1 关系。并且使用一个中心化的 Manager 服务去管理多个 Dragonfly 集群。因为对于 Dragonfly，一个 Dragonfly 集群中的所有 Peers 只能在当前 Dragonfly 集群内 P2P 传输数据，所以一定要保证一个 Dragonfly 集群中的所有 Peers 网络是互通的。那么如果一个 Dragonfly 集群管理一个 Kubernetes 集群，那么代表集群内的 Peers 只在 Kubernetes 集群维度进行 P2P 传输数据。

b583f7e322f24c0a593951a5b4ba0080.png

准备 Kubernetes 集群

如果没有可用的 Kubernetes 集群进行测试，推荐使用 Kind[1]。

创建 Kind 多节点集群配置文件 kind-config.yaml，配置如下:

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
  - role: control-plane
  - role: worker
    extraPortMappings:
      - containerPort: 30950
        hostPort: 8080
    labels:
      cluster: a
  - role: worker
    labels:
      cluster: a
  - role: worker
    labels:
      cluster: b
  - role: worker
    labels:
      cluster: b

使用配置文件创建 Kind 集群：

kind create cluster --config kind-config.yaml

切换 Kubectl 的 context 到 Kind 集群：

kubectl config use-context kind-kind

Kind 加载 Dragonfly 镜像

下载 Dragonfly latest 镜像：

docker pull dragonflyoss/scheduler:latest
docker pull dragonflyoss/manager:latest
docker pull dragonflyoss/dfdaemon:latest

Kind 集群加载 Dragonfly latest 镜像：

kind load docker-image dragonflyoss/scheduler:latest
kind load docker-image dragonflyoss/manager:latest
kind load docker-image dragonflyoss/dfdaemon:latest

创建 Dragonfly 集群 A

创建 Dragonfly 集群 A，应该使用 Helm 在当前集群内安装中心化的 Manager、Scheduler、Seed Peer、Peer。

基于 Helm Charts 创建

Dragonfly 集群 A

创建 Helm Charts 的 Dragonfly 集群 A 的配置文件 charts-config-cluster-a.yaml，配置如下：

containerRuntime:
  containerd:
    enable: true
    injectConfigPath: true
    registries:
      - 'https://ghcr.io'


scheduler:
  image: dragonflyoss/scheduler
  tag: latest
  nodeSelector:
    cluster: a
  replicas: 1
  metrics:
    enable: true
  config:
    verbose: true
    pprofPort: 18066


seedPeer:
  image: dragonflyoss/dfdaemon
  tag: latest
  nodeSelector:
    cluster: a
  replicas: 1
  metrics:
    enable: true
  config:
    verbose: true
    pprofPort: 18066


dfdaemon:
  image: dragonflyoss/dfdaemon
  tag: latest
  nodeSelector:
    cluster: a
  metrics:
    enable: true
  config:
    verbose: true
    pprofPort: 18066


manager:
  image: dragonflyoss/manager
  tag: latest
  nodeSelector:
    cluster: a
  replicas: 1
  metrics:
    enable: true
  config:
    verbose: true
    pprofPort: 18066


jaeger:
  enable: true

使用配置文件部署 Helm Charts 的 Dragonfly 集群 A：

$ helm repo add dragonfly https://dragonflyoss.github.io/helm-charts/
$ helm install --wait --create-namespace --namespace cluster-a dragonfly dragonfly/dragonfly -f charts-config-cluster-a.yaml
NAME: dragonfly
LAST DEPLOYED: Mon Aug  7 22:07:02 2023
NAMESPACE: cluster-a
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
1. Get the scheduler address by running these commands:
  export SCHEDULER_POD_NAME=$(kubectl get pods --namespace cluster-a -l "app=dragonfly,release=dragonfly,component=scheduler" -o jsonpath={.items[0].metadata.name})
  export SCHEDULER_CONTAINER_PORT=$(kubectl get pod --namespace cluster-a $SCHEDULER_POD_NAME -o jsonpath="{.spec.containers[0].ports[0].containerPort}")
  kubectl --namespace cluster-a port-forward $SCHEDULER_POD_NAME 8002:$SCHEDULER_CONTAINER_PORT
  echo "Visit http://127.0.0.1:8002 to use your scheduler"


2. Get the dfdaemon port by running these commands:
  export DFDAEMON_POD_NAME=$(kubectl get pods --namespace cluster-a -l "app=dragonfly,release=dragonfly,component=dfdaemon" -o jsonpath={.items[0].metadata.name})
  export DFDAEMON_CONTAINER_PORT=$(kubectl get pod --namespace cluster-a $DFDAEMON_POD_NAME -o jsonpath="{.spec.containers[0].ports[0].containerPort}")
  You can use $DFDAEMON_CONTAINER_PORT as a proxy port in Node.


3. Configure runtime to use dragonfly:
  https://d7y.io/docs/getting-started/quick-start/kubernetes/




4. Get Jaeger query URL by running these commands:
  export JAEGER_QUERY_PORT=$(kubectl --namespace cluster-a get services dragonfly-jaeger-query -o jsonpath="{.spec.ports[0].port}")
  kubectl --namespace cluster-a port-forward service/dragonfly-jaeger-query 16686:$JAEGER_QUERY_PORT
  echo "Visit http://127.0.0.1:16686/search?limit=20&lookback=1h&maxDuration&minDuration&service=dragonfly to query download events"

检查 Dragonfly 集群 A 是否部署成功：

$ kubectl get po -n cluster-a
NAME                                 READY   STATUS    RESTARTS      AGE
dragonfly-dfdaemon-7t6wc             1/1     Running   0             3m18s
dragonfly-dfdaemon-r45bk             1/1     Running   0             3m18s
dragonfly-jaeger-84dbfd5b56-fmhh6    1/1     Running   0             3m18s
dragonfly-manager-75f4c54d6d-tr88v   1/1     Running   0             3m18s
dragonfly-mysql-0                    1/1     Running   0             3m18s
dragonfly-redis-master-0             1/1     Running   0             3m18s
dragonfly-redis-replicas-0           1/1     Running   1 (2m ago)    3m18s
dragonfly-redis-replicas-1           1/1     Running   0             96s
dragonfly-redis-replicas-2           1/1     Running   0             45s
dragonfly-scheduler-0                1/1     Running   0             3m18s
dragonfly-seed-peer-0                1/1     Running   1 (37s ago)   3m18s

创建 Manager REST 服务的

NodePort Service 资源

创建 Manager REST 服务的配置文件 manager-rest-svc.yaml，配置如下：

apiVersion: v1
kind: Service
metadata:
  name: manager-rest
  namespace: cluster-a
spec:
  type: NodePort
  ports:
    - name: http
      nodePort: 30950
      port: 8080
  selector:
    app: dragonfly
    component: manager
    release: dragonfly

使用配置文件创建 Manager REST 服务的 Service 资源：

kubectl apply -f manager-rest-svc.yaml -n cluster-a

访问 Manager 控制台

使用默认用户名 root，密码 dragonfly 访问 localhost:8080 的 Manager 控制台地址，并且进入控制台。

dad65968faa34e5ac498ab6b1dc67435.png

7ba977ec33bc9cb0bae508b093f06e88.png

在 Dragonfly Manager 部署成功后，默认情况下 Dragonfly Manager 在第一次启动的时候，如果没有任何集群，那么会自动创建集群 A 的记录。用户可以点击 Manager 控制台看到集群 A 的详细信息。

e0646aa9b09aef3f946f45ecd1e8d25c.png

创建 Dragonfly 集群 B

创建 Dragonfly 集群 B，需要在 Manager 控制台首先创建 Dragonfly 集群记录，然后再使用 Helm 安装 Scheduler、Seed Peer 和 Peer。

Manager 控制台创建

Dragonfly 集群 B 的记录

点击 ADD CLUSTER 按钮创建集群 B 的记录，注意 IDC 设置为 cluster-2 使其能够跟后面 Peer 配置文件中 IDC 值为 cluster-2 的 Peer 相匹配。

3ff6397ac95e3d0e173b53b8a5776c5e.png

创建 Dragonfly 集群 B 记录成功。

c9dc04e994c1cc909f9b05e1445e299f.png

使用 Scopes 配置区分

不同 Dragonfly 集群

Cluster 管辖的 Scopes 信息。Peer 会根据 Dfdaemon 启动的配置文件 host.idc、host.location 以及 host.advertiseIP 的内容上报给 Manager。然后 Manager 选择跟 Cluster Scopes 中 IDC、Location 以及 CIDRs 匹配的 Cluster。被选中的 Cluster 会提供自身的 Scheduler Cluster 和 Seed Peer Cluster 对当前 Peer 进行服务。这样可以通过 Scopes 来区分不同 Cluster 服务的 Peer 群，在多集群场景中非常重要。Peer 的配置文件可以参考文档 dfdaemon config[2]。

如果 Peer 的 Scopes 信息和 Dragonfly 集群匹配，那么会优先使用当前 Dragonfly 集群的 Scheduler 和 Seed Peer 提供服务。也就是说当前 Dragonfly 集群内的 Peer 只能在集群内部进行 P2P 传输数据。如果没有匹配的 Dragonfly 集群，那么使用默认的 Dragonfly 集群提供服务。

Location: Cluster 需要为该 Location 的所有 Peer 提供服务。当对 Peer 配置中的 Location 与 Cluster 中的 Location 配时，Peer 将优先使用 Cluster 的 Scheduler 和 Seed Peer。用“|”分隔，例如“地区|国家|省|城市”。

IDC: Cluster 需要服务 IDC 内的所有 Peer。当 Peer 配置中的 IDC 与 Cluster 中的 IDC 匹配时，Peer 将优先使用 Cluster 的 Scheduler 和 Seed Peer。IDC 在 Scopes 内的优先级高于 Location。

CIDRs: Cluster 需要为 CIDR 中的所有 Peer 提供服务。当 Peer 启动时，将在 Peer 配置中使用 Advertise IP，如果 Peer 配置中的 Advertise IP 为空， 则 Peer 将自动获取 Expose IP 作为 Advertise IP。当 Peer 上报的 IP 与 Cluster 中的 CIDR 匹配时，Peer 将优先使用 Cluster 的 Scheduler 和 Seed Peer。CIDR 在 Scopes 内的优先级高于 IDC。

基于 Helm Charts 创建

Dragonfly 集群 B

创建 Helm Charts 文件的内容可以在 Manager 控制台对应的 Dragonfly 集群信息详情中查看。

4ff3ca8c51a21bb079c7483c930803be.png

  • Scheduler.config.manager.schedulerClusterID 是 Manager 控制台的 cluster-2 集群信息中的 Scheduler cluster ID 值。

  • Scheduler.config.manager.addr 是 Manager 的 GRPC 服务地址。

  • seedPeer.config.scheduler.manager.seedPeer.clusterID 是 Manager 控制台的 cluster-2 集群信息中的 Seed peer cluster ID 值。

  • seedPeer.config.scheduler.manager.netAddrs[0].addr 是 Manager 的 GRPC 服务地址。

  • dfdaemon.config.host.idc 是 Manager 控制台的 cluster-2 集群信息中的 IDC 值。

  • dfdaemon.config.scheduler.manager.netAddrs[0].addr 是 Manager 的 GRPC 服务地址。

  • externalManager.host 是 Manager 的 GRPC 服务的 Host。

  • externalRedis.addrs[0] 是 Redis 的服务地址。

创建 Helm Charts 的 Dragonfly 集群 B 的配置文件 charts-config-cluster-b.yaml，配置如下:

containerRuntime:
  containerd:
    enable: true
    injectConfigPath: true
    registries:
      - 'https://ghcr.io'


scheduler:
  image: dragonflyoss/scheduler
  tag: latest
  nodeSelector:
    cluster: b
  replicas: 1
  config:
    manager:
      addr: dragonfly-manager.cluster-a.svc.cluster.local:65003
      schedulerClusterID: 2


seedPeer:
  image: dragonflyoss/dfdaemon
  tag: latest
  nodeSelector:
    cluster: b
  replicas: 1
  config:
    scheduler:
      manager:
        netAddrs:
          - type: tcp
            addr: dragonfly-manager.cluster-a.svc.cluster.local:65003
        seedPeer:
          enable: true
          clusterID: 2


dfdaemon:
  image: dragonflyoss/dfdaemon
  tag: latest
  nodeSelector:
    cluster: b
  config:
    host:
      idc: cluster-2
    scheduler:
      manager:
        netAddrs:
          - type: tcp
            addr: dragonfly-manager.cluster-a.svc.cluster.local:65003


manager:
  enable: false


externalManager:
  enable: true
  host: dragonfly-manager.cluster-a.svc.cluster.local
  restPort: 8080
  grpcPort: 65003


redis:
  enable: false


externalRedis:
  addrs:
    - dragonfly-redis-master.cluster-a.svc.cluster.local:6379
  password: dragonfly


mysql:
  enable: false


jaeger:
  enable: true

使用配置文件部署 Helm Charts 的 Dragonfly 集群 B:

$ helm install --wait --create-namespace --namespace cluster-b dragonfly dragonfly/dragonfly -f charts-config-cluster-b.yaml
NAME: dragonfly
LAST DEPLOYED: Mon Aug  7 22:13:51 2023
NAMESPACE: cluster-b
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
1. Get the scheduler address by running these commands:
  export SCHEDULER_POD_NAME=$(kubectl get pods --namespace cluster-b -l "app=dragonfly,release=dragonfly,component=scheduler" -o jsonpath={.items[0].metadata.name})
  export SCHEDULER_CONTAINER_PORT=$(kubectl get pod --namespace cluster-b $SCHEDULER_POD_NAME -o jsonpath="{.spec.containers[0].ports[0].containerPort}")
  kubectl --namespace cluster-b port-forward $SCHEDULER_POD_NAME 8002:$SCHEDULER_CONTAINER_PORT
  echo "Visit http://127.0.0.1:8002 to use your scheduler"


2. Get the dfdaemon port by running these commands:
  export DFDAEMON_POD_NAME=$(kubectl get pods --namespace cluster-b -l "app=dragonfly,release=dragonfly,component=dfdaemon" -o jsonpath={.items[0].metadata.name})
  export DFDAEMON_CONTAINER_PORT=$(kubectl get pod --namespace cluster-b $DFDAEMON_POD_NAME -o jsonpath="{.spec.containers[0].ports[0].containerPort}")
  You can use $DFDAEMON_CONTAINER_PORT as a proxy port in Node.


3. Configure runtime to use dragonfly:
  https://d7y.io/docs/getting-started/quick-start/kubernetes/




4. Get Jaeger query URL by running these commands:
  export JAEGER_QUERY_PORT=$(kubectl --namespace cluster-b get services dragonfly-jaeger-query -o jsonpath="{.spec.ports[0].port}")
  kubectl --namespace cluster-b port-forward service/dragonfly-jaeger-query 16686:$JAEGER_QUERY_PORT
  echo "Visit http://127.0.0.1:16686/search?limit=20&lookback=1h&maxDuration&minDuration&service=dragonfly to query download events"

检查 Dragonfly 集群 B 是否部署成功：

$ kubectl get po -n dragonfly-system
NAME                                READY   STATUS    RESTARTS   AGE
dragonfly-dfdaemon-q8bsg            1/1     Running   0          67s
dragonfly-dfdaemon-tsqls            1/1     Running   0          67s
dragonfly-jaeger-84dbfd5b56-rg5dv   1/1     Running   0          67s
dragonfly-scheduler-0               1/1     Running   0          67s
dragonfly-seed-peer-0               1/1     Running   0          67s

创建 Dragonfly 集群 B 成功。

dc50216db2afaab80e10666e5844eb74.png

使用 Dragonfly 在多集群环境下分发镜像

集群 A 中 Containerd 通过

Dragonfly 首次回源拉镜像

在 kind-worker Node 下载 ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5 镜像：

docker exec -i kind-worker /usr/local/bin/crictl pull ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5

暴露 Jaeger 16686 端口：

kubectl --namespace cluster-a port-forward service/dragonfly-jaeger-query 16686:16686

进入 Jaeger 页面 http://127.0.0.1:16686/search，搜索 Tags 值为 http.url="/v2/dragonflyoss/dragonfly2/scheduler/blobs/sha256:82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399?ns=ghcr.io" Tracing：

020a8be599a4c6b9082eae61f57e4421.jpeg

Tracing 详细内容：

5d544950f5e15878ccd6df43720ca6ed.jpeg

集群 A 内首次回源时，下载 82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399 层需要消耗时间为 1.47s。

集群 A 中 Containerd 下载镜像命中

Dragonfly 远程 Peer 的缓存

在 kind-worker2 Node 下载 ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5 镜像：

docker exec -i kind-worker2 /usr/local/bin/crictl pull ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5

暴露 Jaeger 16686 端口：

kubectl --namespace cluster-a port-forward service/dragonfly-jaeger-query 16686:16686

进入 Jaeger 页面 http://127.0.0.1:16686/search，搜索 Tags 值为 http.url="/v2/dragonflyoss/dragonfly2/scheduler/blobs/sha256:82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399?ns=ghcr.io" Tracing：

eebff4854c66642c69b6e87bd9e4783c.jpeg

Tracing 详细内容：

7857f1fdf98f25136495774485cc933f.jpeg

集群 A 中命中远程 Peer 缓存时，下载 82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399 层需要消耗时间为 37.48ms。

集群 B 中 Containerd 通过

Dragonfly 首次回源拉镜像

在 kind-worker3 Node 下载 ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5 镜像：

docker exec -i kind-worker3 /usr/local/bin/crictl pull ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5

暴露 Jaeger 16686 端口：

kubectl --namespace cluster-b port-forward service/dragonfly-jaeger-query 16686:16686

进入 Jaeger 页面 http://127.0.0.1:16686/search ，搜索 Tags 值为 http.url="/v2/dragonflyoss/dragonfly2/scheduler/blobs/sha256:82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399?ns=ghcr.io" Tracing：

226ef4148cb6eeea45552050466a1299.jpeg

Tracing 详细内容：

cd63eb2a3a3c0cf2f45738898f6bc6ef.jpeg

集群 B 中命中远程 Peer 缓存时，下载 82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399 层需要消耗时间为 4.97s。

集群 B 中 Containerd 下载镜像命中

Dragonfly 远程 Peer 的缓存

在 kind-worker4 Node 下载 ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5 镜像：

docker exec -i kind-worker4 /usr/local/bin/crictl pull ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5

暴露 Jaeger 16686 端口：

kubectl --namespace cluster-b port-forward service/dragonfly-jaeger-query 16686:16686

进入 Jaeger 页面 http://127.0.0.1:16686/search ，搜索 Tags 值为 http.url="/v2/dragonflyoss/dragonfly2/scheduler/blobs/sha256:82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399?ns=ghcr.io" Tracing：

289a6ba1c3e29461379a11522956fd15.jpeg

Tracing 详细内容：

4765a9af2cdfd68f2f7d693011b37388.jpeg

集群 B 中命中远程 Peer 缓存时，下载 82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399 层需要消耗时间为 14.53ms。

Dragonfly Star 一下✨：
https://github.com/dragonflyoss/Dragonfly2

相关链接

[1]Kind：https://kind.sigs.k8s.io/

[2]dfdaemon config：https://d7y.io/zh/docs/next/reference/configuration/dfdaemon/

[3]Dragonfly 官网：https://d7y.io/

[4]Dragonfly Github 仓库：https://github.com/dragonflyoss/Dragonfly2

[5]Dragonfly Slack Channel（#dragonfly on CNCF Slack）：https://cloud-native.slack.com/?redir=%2Fmessages%2Fdragonfly%2F

[6]Dragonfly Discussion Group: dragonfly-discuss@googlegroups.com

[7]Dragonfly Twitter（@dragonfly_oss）：https://twitter.com/dragonfly_oss

[8]Nydus Github 仓库: https://github.com/dragonflyoss/image-service

[9]Nydus 官网: https://nydus.dev/

cacd722d63345f80e9c808dbacc6e3c9.png

扫描二维码查看 Dragonfly GitHub 页面

推荐阅读

f913d4a790c8595e342adb259cabe07d.png

Dragonfly 发布 v2.1.0 版本!

5c9e46f4cd6b753bbf5557507ce844b3.png

Dragonfly 中 P2P 传输协议优化

c7c7e8c962b3d77188240ea1a967dc99.png

蚂蚁 SOFAServerless 微服务新架构的探索与实践

f8134300fc95e20f159b374dd66ed150.jpeg

超越边界：FaaS 的应用实践和未来展望

55a67b4ed7ad497ba96f23f331c6e60d.jpeg

SOFAStack
关注
dragonfly 加 harbor 实现镜像预热
weixin_40548182的博客
01-16 490
会话超时时间 和 令牌过期时间都是 默认 30分钟，加上限速 1M/s，因此当一个镜像 layer 超过 2G 的时候会预热失败（不通过 harbor 的方式预热），这个问题看 dragonfly issue。【项目】-选择设置了 P2P 预热并且想要预热的项目点进去-【P2P预热】-【新建策略】-选中策略-【其他操作】-【执行】-【确定】【项目】-选择触发了 P2P 预热的项目点进去-【P2P预热】-【新建策略】-选中策略。【项目】-选择一个项目点进去-【P2P预热】-【新建策略】
自研P2P镜像分发系统
小小小小杜
05-09 1657
Eagle Eagle is a lightweight and intelligent p2p based docker image distribution system. Features Non-invasive: Eagle can seamlessly support docker for distributing images. High-availability: Eagle supports high-availability in both client-side and serve
Docker 环境基于 Dragonfly 的 Kubernetes 多集群镜像分发实践
金融级分布式架构
09-19 600
文｜唐荦彦深信服高级开发工程师主要负责 SASE 云化架构以及基础设施建设本文 3056 字，阅读 6 分钟01你将在本文学到什么？多 K8S 集群镜像分发方案Dragonfly 的理解Harbor 的预热机制Dragonfly 的使用以及排障02K8S 多集群镜像分发问题在边缘云架构的生产环境下，演进过程中，一开始的镜像分发方案如下：每个边缘集群都存在节点的 Harbor 仓库，进行缓存...
Dragonfly 基于 P2P 的文件和镜像分发系统
渡江客涂鸦板
06-26 282
Dragonfly 是一款基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率，最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。Dragonfly 面向镜像分发和文件分发，结合 P2P 网络和服务器集群的思想，向用户提供稳定的，高效的下载服务。Dragonfly 希望在服务器内部构建 P2P 网络，将服务器的不同主机节点分为 Manager、Scheduler、Seed Peer 以及 Peer 四个角色，分别提供不同的功能。
Dragonfly 使用与安装指南
gitblog_00230的博客
08-21 435
Dragonfly 使用与安装指南 DragonflyThis repository has be archived and moved to the new repository https://github.com/dragonflyoss/Dragonfly2.项目地址:https://gitcode.com/gh_mirrors/dra/Dragonfly 一、项目目录结构及介绍 Dra...
10 亿月活用户下，快手基于 Dragonfly 的超大规模镜像分发实践
技术原始积累
01-31 233
背景Cloud Native挑战快手容器云平台旨在为快手不断增长、不断变化和多样化的业务，提供基于容器化部署的超大规模基础设施服务。为了实现这一目标，快手工程师需要解决弹性、稳定性、效率和无服务器架构等挑战，在这些挑战中，镜像分发的稳定性和效率也是最棘手的问题之一。解决方案为了让快手容器云平台的镜像分发更加稳定和高效，快手容器云技术团队携手阿里云、蚂蚁集团在龙蜥社区适配优化落地解决方案。事实证明，...
P2P镜像分发：Harbor+Dragonfly优化k8s集群镜像拉取速度（二）
渡江客涂鸦板
06-24 361
Dragonfly（蜻蜓）是一款开源的基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率，最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。是由CNCF（云原生计算基金会）作为孵化级项目（阿里）。
P2P镜像分发：Harbor+Kraken优化镜像拉取速度（一）
渡江客涂鸦板
06-24 291
随着云原生架构被越来越多的企业接受，企业应用中容器集群的规模也越来越大。当容器集群达到一定的规模且单容器应用副本数达到一定级别时，集群中容器镜像的分发将面临挑战。P2P（Peer-to-Peer，点对点）镜像分发借鉴了互联网P2P文件传输的思路，旨在提高镜像在容器集群中的分发效率，以更快的镜像拉取速度来对kubernetes集群进行优化。本篇主要讲述KrakenHarbor的理论部分。
使用DragonFly进行智能镜像分发
gg7894125的博客
06-21 852
Dragonfly 是一款基于 P2P 的智能镜像和文件分发工具。它旨在提高文件传输的效率和速率，最大限度地利用网络带宽，尤其是在分发大量数据时，例如应用分发、缓存分发、日志分发和镜像分发。 在阿里巴巴，Dragonfly 每个月会被调用 20 亿次，分发的数据量高达 3.4PB。Dragonfly 已成为阿里巴巴基础设施中的重要一环。 尽管容器技术大部分时候简化了运维工作，但是它也带来了一些挑战：例如镜像分发的效率问题，尤其是必须在多个主机上复制镜像分发时。 Dragonfly 在这种场景下能够完美支持
Dragonfly 部署
weixin_40548182的博客
12-25 300
重启 docker 后，如果 redis 和 mysql 容器启动不了，其他容器也会无法启动，频繁重启，docker 日志报错如下。启动 redis mysql 容器后，再分别重启无法启动的 pod 即可解决。安装好 docker 和 docker-compose。如果输出类似如下的日志，代表成功。或者直接进入 peer 容器查看。正常后启动的容器如下。
docker安装部署dragonfly2镜像加速服务
ll535299的博客
02-10 1781
​ Dragonfly 作为龙蜥社区的镜像加速标准解决方案，是一款基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率，最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。​ 现阶段 Dragonfly 基于 Dragonfly1.x 演进而来，在保持 Dragonfly1.x 原有核心能力的基础上，Dragonfly 在系统架构设计、产品能力、使用场景等几大方向上进行了全面升级。
如何使用 Harbor 和 Dragonfly 优化 Kubernetes 集群镜像拉取速度
easylife206的专栏
12-27 608
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！本篇文章则分享在大规模的 Kubernetes 集群中，通过 Harbor 与 Dragonfly 来优化镜像的拉取速度。Dragonfly(蜻蜓)简介项目地址：https://github.com/dragonflyoss/Dragonfly2官方文档: https://d7y.io/zh/docs/ ...
Dragonfly 加速 Git LFS 大文件分发
金融级分布式架构
01-03 364
Dragonfly GitHub:https://github.com/dragonflyoss/Dragonfly21Git LFS 是什么?Git LFS [1]是 Git Large File Storage 的缩写，这是一个用来处理大型文件的 Git 扩展工具。Git 在处理大量的小型文件时表现出色，但它并不擅长版本控制大型二进制文件，比如视频、音频、数据集、模型资源等。如果这些大文件直...
dragonfly k8s 部署
Sunnyang123的博客
05-16 230
在dragonfly客户端执行 （填写旧redis地址）修改nodeport。
Dragonfly单机部署比redis快25倍的缓存中间件
qq_39234840的博客
10-18 4204
Dragonfly 是一款高性能的缓存中间件，与 Redis 和 Memcached API 完全兼容，无缝对接（意思就是开发人员直接改一下配置文件的链接地址即可，把他当redis用）。Dragonfly 在多线程、无共享架构之上实现了新颖的算法（2Q算法）和数据结构（Dash稳定吗hash结构）。因此，与 Redis 相比，Dragonfly 的性能达到了 x25，并且在单个实例上支持数百万 QPS。Dragonfly 的核心特性使其成为经济高效、高性能且易于使用的 Redis 替代品。
Dragonfly项目安装与使用指南
最新发布
gitblog_00646的博客
09-05 385
Dragonfly项目安装与使用指南 dragonflyARCHIVED! - Speech recognition framework allowing powerful Python-based scripting and extension of Dragon NaturallySpeaking (DNS) and Windows Speech Recognition (WSR)项目地址:...
智能镜像分发工具dragonfly的安装和使用
惜鸟的博客
08-07 3931
一、概述 最近在研究k8s，有时候会遇到镜像拉取缓慢的问题，尤其是必须在多个主机上复制镜像分发时效率较低，之后查阅资料发现这个dragonfly是通过p2p技术解决镜像传输和分发的问题的，在这里将我的学习过程做一个记录。 Dragonfly一个开源的基于P2P镜像及文件分发系统，由阿里巴巴开源的云原生镜像分发系统 Dragonfly，面向以 Kubernetes 为核心的分布式应用编排系统，前瞻性地解决了云原生镜像分发的下列三大难题： 效率：借助 P2P 与 CDN 技术，缩减镜像传输时间，提升分发效率，
云原生Dragonfly实践：高效容器镜像与IoT分发
Dragonfly是云原生环境下优化镜像分发的关键工具，它的技术特性与实际应用案例对于云计算和IoT领域的开发者来说具有极高的参考价值，可以帮助他们提升工作效率，减少资源消耗，并增强系统的安全性和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值