C# 三维倾斜摄影数据批量下载

      前两天分享了个三维倾斜摄影数据下载资源，没看过的朋友可以点击此文章链接查看倾斜摄影数据下载，虽然我们将url copy到浏览器就可以直接下载，速度也不算太慢，但两千多个url如果一个一个去复制下载，还是挺麻烦的。所以这里就写了个C# 程序去读取Geojson中的所有下载链接，自动去下载。

        打开Geojson，复制所有的文本，到Visual Studio中，点击“编辑”->“选择性粘贴”->“将JSON粘贴为类”，VS就会自动将json对应的所有字段创建出一个实体类。这样C#就可以将json文本直接反序列化为一个实体对象。

下面这部分代码是读取Geojson，遍历资源下载Url list， 并打印下载记录及结果。

var currentIndex = 1;//当前下载到第几个
var finishCount = 0;//下载成功个数
var resultPath = @"D:\downloadData";
var jsonPath = @"D:\workdata\3DPhotorealisticModel_GEOJSON\OpenData_3D_HK80.json";
var json = File.ReadAllText(jsonPath);
var model = System.Text.Json.JsonSerializer.Deserialize<Rootobject>(json);
var osgbDownloadUrls = model.features.Select(t => t.properties.OSGB_URL).ToList();
var allCount = osgbDownloadUrls.Count();

foreach (var url in osgbDownloadUrls)
{
    var fileName = Path.Combine(resultPath, url.Substring(url.LastIndexOf('/') + 1));
    AppendLog($"开始下载{currentIndex}/{allCount}: {url}");

    var result = await DownloadFile(url, fileName);
    if (result)
    {
        finishCount++;
        this.txtFinishCount.Text = finishCount.ToString();
        AppendLog($"下载成功{url}");
    }
    else
    {
        AppendLog($"下载失败{url}");
    }
    currentIndex++;
}
MessageBox.Show("完成！");

这部分代码主要是HttpClient请求Url，获取响应内容并写入文件流。

public static async Task<bool> DownloadFile(string url, string fileName)
{
    try
    {
        using (var httpClient = new HttpClient())
        {
            var response = await httpClient.GetAsync(url);
            if (!response.IsSuccessStatusCode)
            {
                logger.Error($"[{url}]请求失败: {response}");
                return false;
            }
            using (var fileSteam = File.Open(fileName, FileMode.Create, FileAccess.ReadWrite, FileShare.Read))
            {
                var buffer = new byte[1024 * 100];
                using (var httpStream = await response.Content.ReadAsStreamAsync())
                {
                    int writeLength;
                    while ((writeLength = httpStream.Read(buffer, 0, buffer.Length)) > 0)
                    {
                        await fileSteam.WriteAsync(buffer, 0, writeLength);
                    }
                }
            }
        }
        return true;
    }
    catch (Exception ex)
    {
        logger.Error(ex, $"[{url}]下载失败: {ex.Message}");
        return false;
    }
}

        运行程序，点击“开始下载”按钮，即可自动下载。这里我写的比较简单，就晚上开着电脑一个一个慢慢去下载的，后续大家也可以优化一下下载那部分代码，改成多任务并行下载。osgb下载的zip有大有小，500个zip大约占了100G，供大家参考，提前准备好下载位置的内存。