Azcopy Sync同步Azure文件共享

已于 2024-07-17 21:36:08 修改
阅读量882 收藏 16
点赞数 19
文章标签： azure microsoft 云计算
于 2024-07-13 19:59:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54833469/article/details/140405357
版权

文章目录

Azcopy Sync同步文件共享

使用场景：为了在不使用Azure Fileshare（文件共享）的GRS冗余的情况下，实现两个不同存储账户的Azure Fileshare的数据同步，且为了尽量节省带宽和出站流量，使用增量同步

azcopy sync 是 AzCopy 工具中的一个命令，用于在两个存储位置之间进行增量同步。它会比较源位置和目标位置的文件，仅复制源位置中新创建或修改的文件，并删除目标位置中不再存在于源位置中的文件，以确保两者的一致性。

假设你有一个源文件共享和一个目标文件共享，初次同步后，只会复制源文件共享中所有的文件。第二次同步时，只有源文件共享中新添加或修改的文件会被复制到目标文件共享，并且目标文件共享中不在源文件共享中的文件会被删除。

一、工作原理

  1. 比较源和目标：

    • azcopy sync 会比较源和目标位置的文件，根据文件的修改时间和大小来决定哪些文件需要复制、更新或删除。

  2. 增量复制：

    • 只有在源位置中新创建或修改的文件才会被复制到目标位置。

  3. 删除目标中的多余文件：

    • 如果在目标位置中发现有不在源位置中的文件，azcopy sync 会根据设置删除这些文件，以保持源和目标的一致性。

二、安装 AzCopy

在 Windows 上

  1. 下载 AzCopy：

  2. 安装 AzCopy：

    • 解压下载的 ZIP 文件。

    • 将 azcopy.exe 复制到一个常用目录，例如 C:\Program Files (x86)\AzCopy。

  3. 添加到系统路径：

    • 打开“系统属性”对话框。

    • 点击“高级系统设置”。

    • 点击“环境变量”按钮。

    • 在“系统变量”部分，找到 Path 变量，并点击“编辑”。

    • 点击“新建”，并添加 AzCopy 安装目录的路径（例如 C:\Program Files (x86)\AzCopy）。

    • 点击“确定”保存更改。

  4. 验证安装：

    • 打开命令提示符或 PowerShell。

    • 运行 azcopy 命令，确保显示 AzCopy 的帮助信息。

在 Linux 上

  1. 下载 AzCopy：
    wget https://aka.ms/downloadazcopy-v10-linux -O azcopy_linux.tar.gz
  1. 安装 AzCopy：
    tar -xvf azcopy_linux.tar.gz  
    ​  
    sudo mv azcopy_linux_amd64_10.25.1/azcopy /usr/local/bin/
  1. 验证安装：
    azcopy --version

三、资源准备

1. 创建源和目标 Azure 存储账户

2. 创建源和目标文件共享

3. 确定路径

确定你要同步的文件和目录路径：

  • 源路径：指向源文件共享中的具体目录或文件。

  • 目标路径：指向目标文件共享中的具体目录。

4. 生成源和目的存储账户的共享访问签名（SAS）令牌

共享访问签名 (SAS) 令牌是一个 URI，可以授予有限时间内对 Azure 存储资源的访问权限。SAS 令牌为你提供了一种安全的方式来授予客户端对存储资源的细粒度访问，而无需共享存储帐户密钥。通过使用 SAS 令牌，你可以控制客户端对资源的访问权限，包括允许的操作、资源的类型、访问的开始时间和到期时间等。

生成 SAS 令牌以提供对存储资源的访问权限：

  1. 导航到存储账户：

    • 在 Azure 门户中，选择你创建的存储账户。

  2. 生成 SAS 令牌：

    • 在存储账户页面的左侧菜单中选择“共享访问签名”。
配置权限

  1. 选择服务：

    • 选择 文件 服务，因为 azcopy sync 是用于 Azure 文件共享的同步操作。

  2. 选择资源类型：

    • 勾选 服务, 容器 和 对象。这确保你可以访问文件共享中的所有资源。

  3. 选择权限：

    • 勾选以下权限：

      • 读 (读)

      • 写 (写)

      • 删除 (删除)

      • 列表 (列出)

    • 这些权限确保 azcopy sync 命令可以读取、写入、删除和列出文件共享中的文件。

  4. 设置有效期：

    • 配置 开始日期/时间 和 结束日期/时间。

    • 例如，设置开始时间为当前时间，结束时间为你希望的有效期结束时间。

  5. 设置 IP 地址（可选）：

    • 你可以指定允许访问的 IP 地址范围。如果不需要限制特定 IP，可以留空。

  6. 选择协议：

    • 选择 HTTPS 或 HTTPS 和 HTTP。为了安全性，建议选择 HTTPS。

  7. 生成 SAS 令牌：

    • 配置完成后，点击页面底部的 生成 SAS 和连接字符串 按钮。

  8. 获取 SAS 令牌和 URL：

    • 页面会显示生成的 SAS 令牌和 URL。

    • 将生成的 SAS 令牌附加到你的源和目标 URL 中，用于 azcopy sync 命令。

在这里插入图片描述

示例生成的 URL

假设你的存储帐户名为 mystorageaccount，文件共享名为 myfileshare，路径为 path/to/dir，生成的 SAS 令牌为 sp=r&st=2024-07-13T07:12:16Z&se=2024-07-13T15:12:16Z&spr=https&sv=2020-08-04&sr=c&sig=signature。

你将生成的 SAS 令牌如下所示：


SOURCE_URL="https://mystorageaccount.file.core.windows.net/myfileshare/path/to/dir?sp=r&st=2024-07-13T07:12:16Z&se=2024-07-13T15:12:16Z&spr=https&sv=2020-08-04&sr=c&sig=signature"  

DESTINATION_URL="https://mystorageaccount.file.core.windows.net/myfileshare/path/to/dir?sp=r&st=2024-07-13T07:12:16Z&se=2024-07-13T15:12:16Z&spr=https&sv=2020-08-04&sr=c&sig=signature"

四、Azcopy Sync 运行命令

一行命令直接运行就行，无多余功能

Bash 示例

azcopy sync "https://[sourceaccount].file.core.chinacloudapi.cn/[sourceshare]?[source_sas]" "https://[destinationaccount].file.core.chinacloudapi.cn/[destinationshare]?[destination_sas]" \
  --recursive=true \
  --delete-destination=true \
  --preserve-permissions=true \
  --preserve-smb-info=true

PowerShell 示例

azcopy sync "https://[sourceaccount].file.core.chinacloudapi.cn/[sourceshare]?[source_sas]" "https://[destinationaccount].file.core.chinacloudapi.cn/[destinationshare]?[destination_sas]" `
  --recursive=true `
  --delete-destination=true `
  --preserve-permissions=true `
  --preserve-smb-info=true

如果是国际版 Azure，只需将域名部分从 .file.core.chinacloudapi.cn 改为 .file.core.windows.net。

# 国际版 Azure
"https://[sourceaccount].file.core.windows.net/[sourceshare]?[source_sas]"

# 世纪互联版 Azure
"https://[sourceaccount].file.core.chinacloudapi.cn/[sourceshare]?[source_sas]"

必须开启的参数

  1. –recursive=true：

    • 递归地同步所有子目录和文件。这是默认行为，但明确指定有助于确保所有子目录和文件都被包含在同步操作中。

  2. –delete-destination=true：

    • 删除目标位置中不在源位置中的文件，以确保源和目标的一致性。

  3. –preserve-permissions=true：

    • 保留文件和目录的权限信息。这在需要保持文件权限设置的环境中尤为重要。

  4. –preserve-smb-info=true：

    • 保留 SMB 信息（如时间戳、属性等），以确保文件和目录的元数据在同步后保持一致。

推荐开启的参数

  1. --log-level=INFO
    • 设置日志级别为 INFO，以便详细记录同步过程中的信息，便于调试和监控。

可选择开启的参数

  1. --overwrite=ifSourceNewer

    • 仅在源文件比目标文件更新时才覆盖目标文件。这有助于减少不必要的数据传输。
    • 确保源和目标存储账户的时间戳准确。如果服务器时间不同步，可能会导致不必要的文件传输或漏传文件

  2. --check-md5

    • 在比较文件时检查 MD5 哈希值。这可以确保文件内容的完全一致性，传输后的文件与源文件完全一致，防止数据损坏
    • 计算 MD5 哈希值会增加 CPU 和时间开销，特别是对于大文件或大量文件的同步操作。

  3. --put-md5

    • 在上传时为文件计算 MD5 哈希值，并将其作为文件的 Content-MD5 属性保存。适用于确保数据传输完整性的场景。

  4. --cap-mbps=<rate>

    • 限制传输速率，指定传输速率的上限（以 Mbps 为单位）。适用于需要控制带宽使用的场景。

  5. --exclude-path=<path1;path2>

    • 排除指定的路径，在同步过程中忽略这些路径。适用于需要排除特定目录的场景。

  6. --include-pattern=<pattern1;pattern2>

    • 仅包含符合指定模式的文件进行同步。适用于需要同步特定类型文件的场景。

  7. --exclude-pattern=<pattern1;pattern2>

    • 排除符合指定模式的文件。在同步过程中忽略这些文件。

  8. --from-to=<sourceDestinationType>

    • 指定源和目标的类型（如 LocalBlob、BlobLocal 等）。在无法自动检测源和目标类型时使用。

例如，如果性能非常关键且数据一致性要求不高，可以考虑不使用 --check-md5 和 --put-md5。

五、基础脚本

在命令的基础上，优化结构，使用先定义的变量易于维护阅读，同时输出一些信息方便调试阅读

Bash 脚本（适用于 Linux）
#!/bin/bash  
​  
# 定义变量  
ACCOUNT_TYPE="international" # 国际版或国内版Azure: "international", "china"  
SOURCE_ACCOUNT="[source_account]"  
SOURCE_SHARE="[source_share]"  
SOURCE_PATH="[path/to/source/dir]"  
SOURCE_SAS="[source_SAS]"  
​  
DESTINATION_ACCOUNT="[destination_account]"  
DESTINATION_SHARE="[destination_share]"  
DESTINATION_PATH="[path/to/destination/dir]"  
DESTINATION_SAS="[destination_SAS]"  
​  
# 根据账号类型设置域名  
if [ "$ACCOUNT_TYPE" == "china" ]; then  
    SOURCE_DOMAIN=".file.core.chinacloudapi.cn"  
    DESTINATION_DOMAIN=".file.core.chinacloudapi.cn"  
else  
    SOURCE_DOMAIN=".file.core.windows.net"  
    DESTINATION_DOMAIN=".file.core.windows.net"  
fi  
​  
SOURCE_URL="https://$SOURCE_ACCOUNT$SOURCE_DOMAIN/$SOURCE_SHARE/$SOURCE_PATH?$SOURCE_SAS"  
DESTINATION_URL="https://$DESTINATION_ACCOUNT$DESTINATION_DOMAIN/$DESTINATION_SHARE/$DESTINATION_PATH?$DESTINATION_SAS"  
​  
# 打印URL以供调试  
echo "Source URL: $SOURCE_URL"  
echo "Destination URL: $DESTINATION_URL"  
​  
# 执行 azcopy sync 命令  
azcopy sync "$SOURCE_URL" "$DESTINATION_URL" \  
  --recursive=true \  
  --delete-destination=true \  
  --preserve-permissions=true \  
  --preserve-smb-info=true
PowerShell 脚本（适用于 Windows）
# 定义变量
$accountType = "international" # 国际版或国内版Azure: "international", "china"
$sourceAccount = "[source_account]"  # 源存储账户名称
$sourceShare = "[source_share]"  # 源文件共享名称
$sourcePath = "[source_path]"  # 源文件共享中的路径，选择根目录的话空着就好
$sourceSas = "[source_SAS]"  # 源存储账户的SAS令牌

$destinationAccount = "[destination_account]"  # 目标存储账户名称
$destinationShare = "[destination_share]"  # 目标文件共享名称
$destinationPath = "[destination_path]"  # 目标文件共享中的路径
$destinationSas = "[destination_SAS]"  # 目标存储账户的SAS令牌

# 根据账号类型设置域名
if ($accountType -eq "china") {
    $sourceDomain = ".file.core.chinacloudapi.cn"
    $destinationDomain = ".file.core.chinacloudapi.cn"
} else {
    $sourceDomain = ".file.core.windows.net"
    $destinationDomain = ".file.core.windows.net"
}

$sourceUrl = "https://$($sourceAccount)$($sourceDomain)/$($sourceShare)/$($sourcePath)?$($sourceSas)"
$destinationUrl = "https://$($destinationAccount)$($destinationDomain)/$($destinationShare)/$($destinationPath)?$($destinationSas)"

# 打印URL以供调试
Write-Output "Source URL: $sourceUrl"
Write-Output "Destination URL: $destinationUrl"

# 执行 azcopy sync 命令
azcopy sync $sourceUrl $destinationUrl `
  --recursive=true `
  --delete-destination=true `
  --preserve-permissions=true `
  --preserve-smb-info=true

​

六、进阶脚本

增加了错误检验，生成日志用于审计的功能，用于前期的测试调试使用。

Bash 脚本（适用于 Linux 和 macOS）

#!/bin/bash  
​  
# 配置变量  
ACCOUNT_TYPE="international" # 国际版或国内版Azure: "international", "china"  
SOURCE_ACCOUNT="your_source_account" # 源存储账户名称  
SOURCE_SHARE="your_source_share" # 源文件共享名称  
SOURCE_PATH="" # 源文件共享中的路径，选择根目录的话空着就好  
SOURCE_SAS="your_source_sas_token" # 源存储账户的SAS令牌  
​  
DESTINATION_ACCOUNT="your_destination_account" # 目标存储账户名称  
DESTINATION_SHARE="your_destination_share" # 目标文件共享名称  
DESTINATION_PATH="" # 目标文件共享中的路径  
DESTINATION_SAS="your_destination_sas_token" # 目标存储账户的SAS令牌  
​  
# 参数验证，检查所有必要的变量是否已定义  
for var in SOURCE_ACCOUNT SOURCE_SHARE SOURCE_SAS DESTINATION_ACCOUNT DESTINATION_SHARE DESTINATION_SAS; do  
    if [ -z "${!var}" ]; then  
        echo "Error: $var is not set."  
        exit 1  
    fi  
done  
​  
# 根据账号类型设置域名，区分国际版和国内版Azure  
if [ "$ACCOUNT_TYPE" == "china" ]; then  
    DOMAIN=".file.core.chinacloudapi.cn"  
else  
    DOMAIN=".file.core.windows.net"  
fi  
​  
# 拼接完整的源和目标URL  
SOURCE_URL="https://$SOURCE_ACCOUNT$DOMAIN/$SOURCE_SHARE"  
DESTINATION_URL="https://$DESTINATION_ACCOUNT$DOMAIN/$DESTINATION_SHARE"  
​  
if [ -n "$SOURCE_PATH" ]; then  
    SOURCE_URL="$SOURCE_URL/$SOURCE_PATH"  
fi  
SOURCE_URL="$SOURCE_URL?$SOURCE_SAS"  
​  
if [ -n "$DESTINATION_PATH" ]; then  
    DESTINATION_URL="$DESTINATION_URL/$DESTINATION_PATH"  
fi  
DESTINATION_URL="$DESTINATION_URL?$DESTINATION_SAS"  
​  
# 打印URL以供调试  
echo "Source URL: $SOURCE_URL"  
echo "Destination URL: $DESTINATION_URL"  
​  
# 日志文件路径  
LOG_DIR="/var/log/azcopy"  
LOG_FILE="$LOG_DIR/azcopy_sync.log"  
​  
# 只在初次运行时创建日志目录（如果不存在）  
if [ ! -d "$LOG_DIR" ]; then  
    mkdir -p "$LOG_DIR"  
fi  
​  
# 设置 AzCopy 的日志位置  
export AZCOPY_LOG_LOCATION="$LOG_DIR"  
​  
# 执行 azcopy sync 命令  
azcopy sync "$SOURCE_URL" "$DESTINATION_URL" \  
  --recursive=true \  
  --delete-destination=true \  
  --preserve-permissions=true \  
  --preserve-smb-info=true \  
  --log-level=INFO  
​  
# 检查 azcopy 命令的退出状态  
if [ $? -ne 0 ]; then  
    echo "Error: azcopy sync failed. Check the log file for details: $LOG_FILE"  
    exit 1  
fi  
​  
echo "azcopy sync completed successfully."

​
​

PowerShell 脚本（适用于 Windows）


# 定义变量  
$accountType = "international" # 国际版：international,国内版Azure: "china"  
$sourceAccount = "your_source_account" # 源存储账户名称  
$sourceShare = "your_source_share" # 源文件共享名称  
$sourcePath = "" # 源文件共享中的路径，选择根目录的话空着就好  
$sourceSas = "your_source_sas_token" # 源存储账户的SAS令牌  
​  
$destinationAccount = "your_destination_account" # 目标存储账户名称  
$destinationShare = "your_destination_share" # 目标文件共享名称  
$destinationPath = "" # 目标文件共享中的路径  
$destinationSas = "your_destination_sas_token" # 目标存储账户的SAS令牌  
​  
$enableLogging = $true # # 是否启用日志记录（设置为 $false 以禁用日志）  
​  
# 根据账号类型设置域名  
if ($accountType -eq "china") {  
    $sourceDomain = ".file.core.chinacloudapi.cn"  
    $destinationDomain = ".file.core.chinacloudapi.cn"  
} else {  
    $sourceDomain = ".file.core.windows.net"  
    $destinationDomain = ".file.core.windows.net"  
}  
​  
# 拼接完整的源和目标URL  
$sourceUrl = "https://$($sourceAccount)$($sourceDomain)/$($sourceShare)/$($sourcePath)?$($sourceSas)"  
$destinationUrl = "https://$($destinationAccount)$($destinationDomain)/$($destinationShare)/$($destinationPath)?$($destinationSas)"  
​  
# 打印URL以供调试  
Write-Output "Source URL: $sourceUrl"  
Write-Output "Destination URL: $destinationUrl"  
​  
# 配置 AzCopy 命令  
$azCopyCommand = @(  
    "azcopy sync",  
    "`"$sourceUrl`"",  
    "`"$destinationUrl`"",  
    "--recursive=true",  
    "--delete-destination=true",  
    "--preserve-permissions=true",  
    "--preserve-smb-info=true"  
)  
​  
if ($enableLogging) {  
    # 设置日志文件路径  
    $logDir = "C:\Logs\azcopy"  
    $logFile = "$logDir\azcopy_sync.log"  
    # 只在初次运行时创建日志目录（如果不存在）  
    if (-not (Test-Path $logDir)) {  
        New-Item -ItemType Directory -Path $logDir -Force  
    }  
​  
    # 设置 AzCopy 的日志位置  
    $env:AZCOPY_LOG_LOCATION = $logDir  
​  
    # 添加日志参数  
    $azCopyCommand += "--log-level=INFO"  
}  
​  
# 输出命令以供调试  
Write-Output "Executing command: $($azCopyCommand -join ' ')"  
​  
# 执行命令  
$azCopyOutput = Invoke-Expression -Command ($azCopyCommand -join ' ')  
​  
# 打印命令输出  
Write-Output $azCopyOutput  
​  
# 检查 azcopy 命令的退出状态  
if ($LASTEXITCODE -ne 0) {  
    if ($enableLogging) {  
        Write-Output "Error: azcopy sync failed. Check the log file for details: $logFile"  
    } else {  
        Write-Output "Error: azcopy sync failed."  
    }  
    exit 1  
}  
​  
Write-Output "azcopy sync completed successfully."

​
​
​

脚本说明

  • 变量定义：定义了源和目标存储账户、共享路径、SAS 令牌等信息。

  • 参数验证：检查必要的变量是否已设置。

  • URL 拼接：根据账号类型设置域名，并拼接完整的源和目标 URL。

  • 日志记录：创建日志目录，并将日志记录在本地指定路径。

  • 错误处理：检查 azcopy sync 命令的退出状态，并在失败时输出错误信息。

示例脚本：结合推荐和可选参数

下面是一个结合了推荐和可选参数的 PowerShell 脚本模板：

# 定义变量  
$accountType = "international" # 国际版：international,国内版Azure: "china"  
$sourceAccount = "fileshareabc" # 源存储账户名称  
$sourceShare = "fileshare2" # 源文件共享名称  
$sourcePath = "" # 源文件共享中的路径，选择根目录的话空着就好  
$sourceSas = "sv=2022-11-02&ss=bfqt&srt=sco&sp=rwdlacupiytfx&se=2024-07-17T14:26:48Z&st=2024-07-17T06:26:48Z&spr=https&sig=wN1cWMifSkjlormB%2FCkSUqHf8BBL%2Bsj2mDBWU0c11AM%3D" # 源存储账户的SAS令牌  

$destinationAccount = "storg132" # 目标存储账户名称  
$destinationShare = "test" # 目标文件共享名称  
$destinationPath = "" # 目标文件共享中的路径  
$destinationSas = "sv=2022-11-02&ss=bfqt&srt=sco&sp=rwdlacupiytfx&se=2024-07-17T14:29:28Z&st=2024-07-17T06:29:28Z&spr=https&sig=zjK%2B4VvcIyeQsR1kVqMGNASZjO7RiiHLzV2DZsSlAdM%3D" # 目标存储账户的SAS令牌  

$enableLogging = $true # 是否启用日志记录（设置为 $false 以禁用日志）  

# 根据账号类型设置域名  
if ($accountType -eq "china") {  
    $sourceDomain = ".file.core.chinacloudapi.cn"  
    $destinationDomain = ".file.core.chinacloudapi.cn"  
} else {  
    $sourceDomain = ".file.core.windows.net"  
    $destinationDomain = ".file.core.windows.net"  
}  

# 拼接完整的源和目标URL  
$sourceUrl = "https://$($sourceAccount)$($sourceDomain)/$($sourceShare)/$($sourcePath)?$($sourceSas)"  
$destinationUrl = "https://$($destinationAccount)$($destinationDomain)/$($destinationShare)/$($destinationPath)?$($destinationSas)"  

# 打印URL以供调试  
Write-Output "Source URL: $sourceUrl"  
Write-Output "Destination URL: $destinationUrl"  

# 配置 AzCopy 命令  
$azCopyCommand = @(  
    "azcopy sync",  
    "`"$sourceUrl`"",  
    "`"$destinationUrl`"",  
    "--recursive=true",  
    "--delete-destination=true",  
    "--preserve-permissions=true",  
    "--preserve-smb-info=true"  
)  

if ($enableLogging) {  
    # 设置日志文件路径  
    $logDir = "C:\Logs\azcopy"  
    $logFile = "$logDir\azcopy_sync.log"  
    # 只在初次运行时创建日志目录（如果不存在）  
    if (-not (Test-Path $logDir)) {  
        New-Item -ItemType Directory -Path $logDir -Force  
    }  

    # 设置 AzCopy 的日志位置  
    $env:AZCOPY_LOG_LOCATION = $logDir  

    # 添加日志参数  
    $azCopyCommand += "--log-level=INFO"  
}  

# 输出命令以供调试  
Write-Output "Executing command: $($azCopyCommand -join ' ')"  

# 执行命令  
$azCopyOutput = Invoke-Expression -Command ($azCopyCommand -join ' ')  

# 打印命令输出  
Write-Output $azCopyOutput  

# 检查 azcopy 命令的退出状态  
if ($LASTEXITCODE -ne 0) {  
    if ($enableLogging) {  
        Write-Output "Error: azcopy sync failed. Check the log file for details: $logFile"  
    } else {  
        Write-Output "Error: azcopy sync failed."  
    }  
    exit 1  
}  

Write-Output "azcopy sync completed successfully."

通过这些参数配置，可以优化同步过程，减少带宽占用，确保数据的一致性和完整性，并且更具针对性地同步必要的文件。

七、跨Vnet使用专用终结点同步的问题

如果两个存储帐户的私有终结点位于不同的虚拟网络（VNET）上，更有甚两个存储账户位于不同地区。运行azcopy sync命令的虚拟机也处于不同的VNET。这种配置差异可能导致数据同步403报错的问题

比如这个报错：

PS C:\Users\azureuser> azcopy sync "https://avdtestfile.file.core.windows.net/fslogix?sv=2022-11-02&ss=f&srt=sco&sp=rwdlc&se=2024-08-10T11:50:23Z&st=2024-07-17T03:50:23Z&spr=https&sig=Dc%2Fsb4ygl1jo%2F2zt7OM%2Fzd7Sy62QPeUhfAga1GYYnEs%3D" "https://avdfile2.file.core.windows.net/fslogix?sv=2022-11-02&ss=f&srt=sco&sp=rwdlc&se=2024-08-10T11:43:24Z&st=2024-07-17T03:43:24Z&spr=https&sig=IbJzsGwcA%2F0JBuqY1NZj8fIFuI%2BCunJOZWf40%2F%2FgZFE%3D" `  
>>   --recursive=true `  
>>   --delete-destination=true `  
>>   --preserve-permissions=true `  
>>   --preserve-smb-info=true  
INFO: Any empty folders will be processed, because source and destination both support folders. For the same reason, properties and permissions defined on folders will be processed  
  
Job df0e0029-81af-b643-6b07-6cea874e155d has started  
Log file is located at: C:\Users\azureuser\.azcopy\df0e0029-81af-b643-6b07-6cea874e155d.log  
  
INFO: Authentication failed, it is either not correct, or expired, or does not have the correct permission PUT https://avdfile2.file.core.windows.net/fslogix/tom_S-1-5-21-3585814000-3636403111-4157032647-1104/Profile_tom.VHDX.metadata  
--------------------------------------------------------------------------------  
RESPONSE 403: 403 This request is not authorized to perform this operation.  
ERROR CODE: CannotVerifyCopySource  
--------------------------------------------------------------------------------  
<?xml version="1.0" encoding="utf-8"?><Error><Code>CannotVerifyCopySource</Code><Message>This request is not authorized to perform this operation.  
RequestId:49481f1d-501a-0036-5a0c-d833f7000000  
Time:2024-07-17T05:45:04.3312926Z</Message></Error>  
--------------------------------------------------------------------------------  
  
0.0 %, 1 Done, 0 Failed, 2 Pending, 3 Total, 2-sec Throughput (Mb/s): 0  
  
Job df0e0029-81af-b643-6b07-6cea874e155d Summary  
Files Scanned at Source: 2  
Files Scanned at Destination: 0  
Elapsed Time (Minutes): 0.0668  
Number of Copy Transfers for Files: 2  
Number of Copy Transfers for Folder Properties: 1  
Total Number of Copy Transfers: 3  
Number of Copy Transfers Completed: 1  
Number of Copy Transfers Failed: 0  
Number of Deletions at Destination: 0  
Total Number of Bytes Transferred: 0  
Total Number of Bytes Enumerated: 171966736  
Final Job Status: Cancelled

针对这个问题，有两种可能的解决方案，（专用终结点的DNS解析要没问题）：

  1. 合并私有终结点：第一种解决方案涉及将私有终结点移动到同一个子网。我们可以将目标存储帐户的私有终结点设置成源存储帐户的私有终结点所在的子网。

在这里插入图片描述

  1. VNET 对等连接和传输客户端：或者，你可以在这两个VNET之间建立VNET对等连接。此外，你可以在其中一个VNET内创建一个新的虚拟机（VM），作为传输客户端。

在这里插入图片描述

八、Azcopy Sync 配置和注意事项

1. 问题：azcopy sync 执行时客户端和存储账户之间的通信机制是怎样的？

  • azcopy sync 客户端在执行数据同步时，通过 HTTPS（端口 443）从源存储账户读取数据，并将数据写入目标存储账户。数据传输是通过客户端在源存储账户和目标存储账户之间进行的，中间没有直接的存储账户间通信。

2. 问题：在 azcopy sync 的操作中，执行命令的服务器是否相当于代理服务器？

  • azcopy sync 客户端可以视为一个“中介”角色，从源存储账户读取数据并将其写入目标存储账户。与传统的代理服务器不同，azcopy sync 客户端实际持有并处理数据，而不仅仅是转发请求和响应。

3. 问题：azcopy sync 客户端的硬件和网络配置需要什么？

硬件配置：

  1. 处理器（CPU）：

    • 多核处理器，建议使用多核处理器以并行处理多个数据传输任务。

  2. 内存（RAM）：

    • 至少 4 GB 内存，对于大规模的数据传输，建议使用更高的内存配置。

  3. 存储（Disk）：

    • 足够的临时存储空间，建议使用 SSD 提高读写速度。

网络配置：

  1. 带宽：

    • 高带宽网络连接，建议使用至少 100 Mbps 的网络连接。

  2. 网络稳定性：

    • 稳定的网络连接，使用有线连接而非无线连接提高稳定性。

  3. 防火墙和端口：

    • 开放端口 443，确保防火墙允许通过端口 443 的 HTTPS 流量。

    • 允许访问 Azure 存储终结点，在防火墙中配置允许 azcopy sync 客户端访问源和目标存储账户的终结点。

软件配置：

  1. 操作系统：

    • 支持的操作系统：Windows、Linux 和 macOS 均支持 AzCopy。

  2. AzCopy 安装：

    • 安装最新版本的 AzCopy。

  3. 环境变量和代理配置（如果适用）：

    • 配置环境变量 HTTP_PROXY 和 HTTPS_PROXY（如果需要通过代理服务器访问网络）。

其他注意事项：

  1. 时间同步：

    • 确保服务器时间与实际时间同步，避免因时间不同步导致的 SAS 令牌验证失败。

  2. 权限管理：

    • 确保运行 AzCopy 命令的用户具有足够的权限访问源和目标存储账户。

  3. 数据一致性检查：

    • 在大规模数据传输后，进行数据一致性检查，确保所有文件都正确传输，没有遗漏或损坏。

4. 问题：azcopy sync 客户端和存储账户需要配置哪些网络设置？

客户端配置：

  • 网络访问：客户端必须能够通过端口 443 访问源存储账户和目标存储账户。

  • 防火墙和代理设置：如果使用防火墙或代理服务器，确保允许 HTTPS 流量（端口 443）。

源存储账户配置：

  • 防火墙规则：允许客户端的 IP 地址或 IP 范围访问源存储账户。

  • SAS 令牌：生成具有读取权限的 SAS 令牌。

目标存储账户配置：

  • 防火墙规则：允许客户端的 IP 地址或 IP 范围访问目标存储账户。

  • SAS 令牌：生成具有写入和删除权限的 SAS 令牌。

5. 需要注意的配置和可能的阻碍

  1. 存储账户防火墙和虚拟网络配置：

    • 防火墙规则：确保存储账户的防火墙规则允许来自 azcopy sync 客户端的IP地址或IP范围的访问。

    • 虚拟网络规则：如果存储账户配置了虚拟网络规则，确保 azcopy sync 客户端在允许的虚拟网络内。

  2. 网络连接：

    • 网络带宽：确保有足够的网络带宽支持所需的数据传输量。较大的文件传输可能需要更高的带宽。

    • 网络延迟：较低的网络延迟有助于提高传输性能。

  3. 端口开放：

    • 端口 443：azcopy sync 客户端和存储账户之间的通信使用 HTTPS 协议，需要开放端口 443 以便进行安全的 HTTP 流量。

  4. 代理设置（如果适用）：

    • 如果你的网络环境中使用了代理服务器，请确保 azcopy 配置正确的代理设置。可以设置环境变量 HTTP_PROXY 和 HTTPS_PROXY。

  5. Azure 存储账户SAS令牌权限：

    • 权限范围：确保生成的 SAS 令牌具有足够的权限（如读取、写入、删除等），以执行 azcopy sync 命令所需的操作。

    • 有效期：确保 SAS 令牌在同步操作期间是有效的。

  6. 身份验证和授权：

    • 如果使用 Azure AD 进行身份验证，请确保配置了正确的权限和角色，以允许访问和操作存储账户中的数据。

  7. 网络安全组（NSG）规则：

    • 如果你的存储账户位于虚拟网络内，请确保配置正确的 NSG 规则，允许存储账户的入站和出站流量。

6. 可能的阻碍和解决方案

  1. 网络连接错误：

    • 确认网络连接是否稳定，确保 azcopy sync 能够访问 Azure 存储服务。

  2. 权限错误：

    • 确认 SAS 令牌或 Azure AD 令牌具有正确的权限。

  3. 带宽限制：

    • 如果网络带宽受限，可能会导致传输速度变慢或失败。

  4. 防火墙或代理阻止：

    • 确认防火墙规则和代理设置不会阻止 azcopy sync 访问 Azure 存储账户的终结点。
Ashmcracker
关注
  • 19
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
最全的Windows Azure学习教程汇总
11-08 2596
Windows Azure 是微软基于云计算的操作系统，能够为开发者提供一个平台，帮助开发可运行在云服务器、数据中心、Web 和 PC 上的应用程序。 Azure 是一种灵活和支持互操作的平台，能够将处于云端的开发者个人能力，同微软全球数据中心网络托管的服务，比如存储、计算和网络基础设施服务，紧密结合起来。帮助开发者在“云端”和“客户端”同时部署应用，使得企业与用户都能共享资源。 本...
Azure存储 自动数据同步AzCopy
handsome_happy的博客
04-15 967
最新版的AzCopy需要配置SAS，但需要权限配置才可以，比较麻烦 我这里提供一个老版的调用方法，只用账号和密码就可以了。 AzCopy /Source:https://。。。。/SourceKey:。。。。 /Dest:。。。。/DestKey:。。。。fwRQ== /S /Y /XO /SyncCopy ...
Microsoft Azure Administrator AZ-104 AZ-103笔记/考点总结
布偶酱的博客
10-12 2780
Azure存储 账户类型：general purposeV2，general purposeV1，Blob存储，文件存储 general purposeV2：最常用，Blob、文件、队列和表的基本存储账户类型 general purposeV1：Blob、文件、队列和表的旧账户类型（建议使用V2） Block blob存储：使用高级性能特征的仅限blob的存储账户，建议对具有高事务率、使用较小的对象，也无需进行一致地低存储延迟方案。 文件存储：使用高级性能特征的仅限文件的存储账户，建议为企业或高性能
Windows Azure Platform 系列文章目录
weixin_34326179的博客
01-08 243
本博-三石Blog(下文简称本博)，在本博客文章结尾处右下脚未注明转载、来源、出处的作品(内容)均为本博原创，本站对于原创作品内容对其保留版权，请勿随意转载，如若真有需要的朋友可以发Mail联系我；转载本博原创作品(内容)也必须遵循“署名-非商业用途-保持一致”的创作共用协议，请务必以文字链接的形式标明或保留文章原始出处和博客作者(Lei Zhang)的信息，关于本博摄影作品请务必注意保留(www...
Azure数据服务
qq_24550639的博客
10-09 274
Content Delivery Network CDN 就是内容分发网络，将内容有效地分发给用户。CDN会在靠近终端用户的边缘服务器缓存内容，这样来提高分发效率。 CND一般来分发静态内容，比如图片、页面、文件、脚本、网页。 CND优点： 低延迟、高速传输内容，无论数据中心离客户端地理位置有多远 有助于减少服务器负载，因为存在CDN的内容不需要进行请求服务 CDN主要应用场景： 3. 主要分...
2023 AZ900备考
Da_Zhuang的博客
08-31 1946
Azure Policy可确保资源的合规性和安全性，并根据特定的需求设置规则和限制。Azure Blueprints：它提供一种以。
《转》最全的Windows Azure学习教程汇总
weixin_34391445的博客
03-28 115
转载： http://blog.csdn.net/powertoolsteam/article/details/53082470 Windows Azure 是微软基于云计算的操作系统，能够为开发者提供一个平台，帮助开发可运行在云服务器、数据中心、Web 和 PC 上的应用程序。 Azure 是一种灵活和支持互操作的平台，能够将处于云端的开发者个人能力，同微软全球数据中心网络托管的服...
AzBatchWindows:具有Azure文件共享的Azure Batch Windows节点
03-25
具有Azure文件共享的Azure Batch Windows节点商业案例许多组织都需要使用HP​​C来处理文件，以满足以下要求： 处理Windows VM池中的文件虚拟网络中部署的池节点通过SMB协议可访问的文件共享中的文件解决方案在VNet...
SQL Azure DataSync
01-11
3. **云端到云端的同步**：无论数据库位于同一个数据中心还是分布在不同地理位置，SQL Azure DataSync都能够实现多个数据库间的高效数据共享。 4. **数据同步控制**：用户可以精细地控制哪些表和列参与同步，设置...
AzureStorageSync:将本地文件同步到Azure存储
04-08
AzureStorageSync使用户可以通过命令行将本地目录与Azure存储容器同步。 创建该库是因为我不希望弄乱powershell。 此工具是Azure SDK的命令行包装。 -- 如何使用 要使用此工具，请使用以下命令行： ...
基于Azure托管磁盘配置高可用共享文件系统-bruce1
08-08
【基于Azure托管磁盘的高可用共享文件系统】的构建过程，首先需要在Azure平台上部署多台虚拟机（如4台CentOS 7.3 VMs），并将它们置于同一高可用集内。接着，为每台虚拟机附加一个Azure托管磁盘，然后格式化并挂载...
azure kinect配置文件.rar
11-14
Azure Kinect 是微软推出的一款高级感知和开发者套件，它结合了深度相机、RGB 摄像头、麦克风阵列等传感器，旨在为开发者提供强大的机器学习和人工智能应用开发工具。在 Ubuntu 系统上配置 Azure Kinect SDK 需要...
Using Embeddings API in Azure OpenAI
suiusoar
08-06 699
当我在 Azure OpenAI 中使用嵌入功能时，我遇到了 404 错误（资源未找到）
resource not found with Azure OpenAI service
最新发布
suiusoar
08-08 761
使用 Azure OpenAI 服务时，系统未能找到所请求的资源
Azure openai connection with javascript
suiusoar
08-06 461
使用JavaScript与Azure OpenAI进行连接
某MDM主数据管理系统与微软Dynamic CRM系统（新加坡节点）集成案例
集信通
08-07 500
Ø物料接口信息：通过SAP PO集成中间件平台，某MDM主数据实时推送物料主数据信息至海外CRM系统，批量新增物料，以及物料描述，多语言等信息，保持主数据信息和海外CRM系统实时保持一致，方便后续有关物料等业务逻辑的进度开展。某客户需要将物料和配件等主数据和海外系统进行对接，由SAP PO在中间对接海外系统，进行主数据的下发，方便两端系统之间进行对接，集团统一性管理国内海外数据，提高整体业务效率，保证数据的时效性。l由SAP PO集成平台管理接口推送，推送失败，由SAP PO平台自动重新推送。
关于百度、微软语音合成的实现案例
winrich的博客
08-07 1312
本文介绍了一个自助机产品功能扩展项目，主要目标是在现有自助服务功能的基础上增加一个排队呼叫功能。由于现有自助服务需要对申请人进行语音提示，而新增的排队呼叫发声不能放在本地，因此采用了网络喇叭的方式。文章详细描述了项目的解决思路，包括本地语音提示仍采用本机TTS并发声播放，同时购入网络喇叭，在需要对排队人员进行呼叫时，从服务器获取呼叫信息，并使用网络喇叭或互联网语音合成实现远端播放。 本文介绍了调用百度开发者平台和微软自带发音人两种语音合成的实现方法，供参考。
解决Azure PHP网站上传大文件失败问题
"上传大文件至Azure PHP网站的解决策略" 在尝试上传超过2MB的文件到Azure PHP网站时，可能会遇到失败的问题。这主要是由于PHP的默认配置限制了上传文件的最大大小为2MB。为了解决这个问题，我们需要对PHP和IIS...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值