shell脚本批量实现项目镜像本地化：docker注册证书login到harbor、将镜像push到harbor仓库、批量判断镜像是否在harbor仓库中已存在、find+sed替换源代码镜像地址

1. 本地docker注册证书docker login连接到harbor仓库：

我们使用docker login/push/pull去与Harbor打交道，上传下载镜像等。 但是可能会出现x509: certificate signed by unknown authority之类的错误。

[root@test01 harbor.dev]# docker login harbor.dev
Authenticating with existing credentials…
Login did not succeed, error: Error response from daemon: Get https://harbor.dev/v2/: x509: certificate signed by unknown authority
Username (admin): admin
Password:
Error response from daemon: Get https://harbor.dev/v2/: x509: certificate signed by unknown authority

此时根据docker官方https://docs.docker.com/engine/security/certificates/，客户端要使用tls与Harbor通信，使用的还是自签证书，那么必须建立一个目录：/etc/docker/certs.d，在这个目录下建立签名的域名的目录， 那么整个目录为: /etc/docker/certs.d/xxxx（harbor域名）, 然后把harbor的证书ca.crt等拷贝到这个目录即可。

2.使用shell脚本将大量镜像pull、tag、push到私有harbor仓库

#!/bin/bash

while IFS= read -r line; do
  image_name=$(echo "$line" | awk '{print $1}')

  new_name=$(echo "$line" | awk '{print $2}' | tr -d '\r')

  docker pull "$image_name"
  docker tag "$image_name" "$new_name"
  docker push "$new_name"

  echo "Pulled, tagged, and pushed $image_name as $new_name"
done < images.txt

如上所示，我们首先需要准备一个images.txt里面包括了所有下载镜像名及上传名，如下所示，每行包括image_name与new_name，其中用空格隔开

istio/proxyv2:1.14.1 harbor.dev/cube_studio/istio_proxyv2:1.14.1
istio/pilot:1.14.1 harbor.dev/cube_studio/pilot:1.14.1
mysql:5.7 harbor.dev/cube_studio/

当然，以上脚本的关键在于image_name与new_name的获取，若new_name可根据image_name修改得到，也可以更改脚本得到适合自己的new_name，可根据自己需要进行修改。

  #images.txt每行只有image_name，tr -d '\r'去掉换行符
  image_name=$(echo "$line" | awk '{print $1}' | tr -d '\r')
  
  #根据情况给出new_name的名称，可根据自己需要进行修改
  if [[ "$image_name" == *"ccr.ccs.tencentyun.com"* ]]; then
  #image_name中的ccr.ccs.tencentyun.com/hub替换为harbor.dev/hub
    new_name=$(echo "$image_name" | sed 's/ccr.ccs.tencentyun.com/harbor.dev\/hub//g')
  else
   #在image_name前加上harbor.dev/hub/
    new_name="harbor.dev/hub/$image_name"
  fi

此时images.txt每行只需要包括需要上传的镜像名即可，new_name可根据脚本得到，如下所示：

istio/proxyv2:1.14.1
istio/pilot:1.14.1
mysql:5.7

将Excel表格中的数据粘贴到记事本中，且每列间距都为一个空格

可在EXECL中将你需要的所有数据先合并成一列再导出。

• 假定你原数据有AB两列，在C1单元格输入公式：=A1&" "&B1，将公式用填充柄向下复制，之后将C列粘贴到txt文档即每列间距都为一个空格

3. 判断仓库中是否已经存在镜像，若不存在则上传

采用上述脚本后有时会出现有些镜像已经上传过重复pull的情况，会验证影响效率，因此进行改进，结果如下所示：

#!/bin/bash

while read -r line; do
  image_name=$(echo "$line" | awk '{print $1}' | tr -d '\r')
  #根据情况给出new_name的名称，可根据自己需要进行修改
  if [[ "$image_name" == *"ccr.ccs.tencentyun.com"* ]]; then
    new_name=$(echo "$image_name" | sed 's/ccr.ccs.tencentyun.com/harbor.dev\/hub//g')
  else
    new_name="harbor.dev/hub/$image_name"
  fi
  
  #清除output.txt
  echo -n "" > output.txt
  
  result=$(timeout 8s docker pull "$new_name" 2>&1 | tee output.txt)
  #若输出Error response from daemon说明harbor仓库中不存在镜像，则直接上传
  if grep -q "Error response from daemon" output.txt; then
    echo "-------------------暂无该镜像-------------$new_name"
    #echo $image_name >> push_images.txt
    #echo $new_name >> push_newimages.txt
    
    docker pull "$image_name"
    docker tag "$image_name" "$new_name"
    docker push "$new_name"
    echo "Pulled, tagged, and pushed $image_name as $new_name"
    echo -n "" > output.txt
    result=$(timeout 15s docker pull "$new_name" 2>&1 | tee output.txt)
    if grep -q "Pulling from" output.txt; then
      echo "$new_name"
      echo "$image_name $new_name" >> exist_images.txt
    fi
  #若输出Pulling from说明harbor仓库中已存在该镜像，则写入exist_images.txt
  elif grep -q "Pulling from" output.txt; then
    echo "$new_name"
    echo "$image_name $new_name" >> exist_images.txt
  else
    echo "***************docker pull 时间过短***************$new_name"
    echo $new_name >> timeout_images.txt
  fi
done < push_images.txt

4. 镜像上传后，利用find+sed脚本修改项目源代码中的镜像地址

#!/bin/bash  
  
while IFS= read -r line; do  
  image_name=$(echo "$line" | awk '{print $1}')  
  new_name=$(echo "$line" | awk '{print $2}' | tr -d '\r')  
  
  # 定义多个项目文件夹路径，使用空格分隔  
  project_folders="D:\Gitlab\cubestudio-apps\docs D:\Gitlab\cubestudio-apps\install D:\Gitlab\cubestudio-apps\myapp"  
  
  # 遍历项目文件夹路径  
  for project_folder in $project_folders; do  
    find "$project_folder" -type f \( -name "*.yml" -o -name "*.yaml" -o -name "*.json" -o -name "*.sh" -o -name "*.md" -o -name "*.py" -o -name "*ockerfile*" \) -print0 | xargs -0 grep -l "$image_name" | while read -r file; do

    # 替换文件内容
    sed -i "s@$image_name@$new_name@g" "$file"
    echo "在文件 $file 中将 $image_name 替换为 $new_name "
    unix2dos "$file"
   done ;
  done;
done < images1.txt

文件应该包含两列数据，第一列是旧的镜像名称，第二列是新的镜像名称，并且每行数据之间使用空格分隔。