lssffy的博客

你可以使用 Python 和几个地理空间处理库（如 rasterio 和 geopandas）来解决这个问题。以下是如何提取大 TIF 文件中特定经纬度点的波段数据的详细步骤。这个过程基本上可以总结为：从经纬度坐标读取波段数据，然后将它们与点合并为一张表。这里我将会给出一个基于 Python 的示例代码：

步骤概述

1. 读取 TIF 文件和 Excel 表：读取包含波段数据的 TIF 文件和包含 90 个特定点的 Excel 表。
2. 提取特定点的波段数据：使用 rasterio 从 TIF 文件中提取这些经纬度点的波段数据。
3. 合并所有数据并保存：将提取的波段数据与原点坐标合并，并保存为你需要的格式。

准备工具

以下是你需要的库，建议使用 conda 或 pip 来安装：

• rasterio：用于读取 TIF 栅格数据。
• pandas：用于处理 Excel 表数据。
• geopandas（可选）：用于地理空间数据操作。

安装这些库可以执行：

pip install rasterio pandas geopandas openpyxl

示例代码

import rasterio
import pandas as pd
import numpy as np

# 1. 读取Excel中的点数据
# 假设excel文件中有 'latitude' 和 'longitude' 两列
input_points_file = 'points.xlsx'
points_df = pd.read_excel(input_points_file)

# 检查一下数据格式
print(points_df.head())

# 2. 打开TIF文件
input_tif_file = 'large_data.tif'
with rasterio.open(input_tif_file) as src:
    # 读取 TIF 文件的元数据信息
    band_count = src.count
    print(f"Number of Bands: {band_count}")

    # 创建一个 DataFrame 来存储提取的波段数据
    extracted_data = []

    # 3. 提取每个点的波段值
    for index, row in points_df.iterrows():
        lat, lon = row['latitude'], row['longitude']

        # 获取栅格图像中与经纬度匹配的行列索引 (row, col)
        row_col = src.index(lon, lat)
        
        # 提取该位置的所有波段数据
        bands_values = []
        for i in range(1, band_count + 1):
            try:
                band_value = src.read(i)[row_col[0], row_col[1]]
                bands_values.append(band_value)
            except IndexError:
                # 如果越界，则标记为无数据值或NaN
                bands_values.append(np.nan)
        
        # 添加该点的经纬度及波段数据
        extracted_data.append([lat, lon] + bands_values)

# 4. 将数据转为DataFrame
columns = ['latitude', 'longitude'] + [f'band_{i}' for i in range(1, band_count + 1)]
extracted_df = pd.DataFrame(extracted_data, columns=columns)

# 5. 保存为Excel或CSV文件
extracted_df.to_excel('extracted_band_data.xlsx', index=False)
print("数据提取完成并保存为 'extracted_band_data.xlsx'")

代码解释

1. 读取 Excel 文件中的经纬度点：

   • 使用 pandas 来读取包含经纬度点的 Excel 文件，其中假定有 latitude 和 longitude 两列。你可以更改列名称以匹配你的数据。

2. 打开 TIF 文件：

   • 使用 rasterio.open 打开栅格文件，并确定栅格文件包含多少个波段 (src.count)。
   • 栅格数据的每个波段相当于遥感影像中的一个通道，你可以提取出每个通道的数据。

3. 提取波段值：

   • 对于每一个点，使用 src.index(lon, lat) 获取该经纬度在 TIF 文件中对应的行列位置。
   • 对于该行列位置，逐个读取所有波段的数据 (src.read(i))。
   • 如果经纬度在栅格文件边界之外，使用异常处理把该点的波段值标记为 NaN。

4. 保存结果：

   • 将提取的经纬度及波段数据存储为 DataFrame，并保存为 Excel 文件或 CSV 文件。

注意事项

1. 数据对齐和投影系统：

   • 你需要确保 TIF 文件和经纬度点的数据投影系统是一致的。如果不一致，需要转换为相同的投影。通常，地理栅格数据是以 EPSG:4326 (WGS84) 投影表示，但遥感数据可能会使用其他投影（如 UTM）。
   • 如果投影系统不同，你可以使用 rasterio 或 pyproj 库来进行投影转换。

2. 处理无效数据：

   • 当从 TIFF 文件中读取波段数据时，如果某些点超出边界或者在栅格的无效区域，则会引发越界问题。上面的代码已经加入了异常处理来处理这种情况。

3. 性能考虑：

   • 如果 TIF 文件非常大，建议你在操作时尽量减少内存占用，比如逐块读取数据或者对提取的点进行优化。
   • 如果数据量特别大，可以考虑通过分块读取来减少内存占用，避免整体内存溢出的问题。

4. 并行化：

   • 如果你有很多点，处理起来可能需要一些时间。可以使用 multiprocessing 库来并行化处理多个点的读取操作，尤其是当点数增加时，这样可以显著加快处理速度。

通过上述方法，你可以较为高效地从一个大型 TIF 文件中提取特定经纬度位置的波段数据，并且将提取的结果保存为表格形式便于后续分析和处理。

在C#中使用Chart控件（System.Windows.Forms.DataVisualization.Charting）绘制大量的数据点（如1000万个点）时，直接绘制可能会造成严重的性能问题，包括界面卡顿和响应延迟。这种情况需要采用一些优化技巧和技术来保证绘图性能。这些技术包括数据点的采样、数据简化、使用更高效的绘图控件等。以下是一些具体的方法和技巧来帮助你绘制1000万个点而不卡顿：

1. 数据简化 (Data Reduction)

绘制1000万个点对于大多数图表控件来说是非常高的负载。你可以使用数据简化的方法来减少图表中需要绘制的点，例如：

• 均匀采样 (Downsampling): 对于时间序列数据，可以从整个数据集中均匀地选择一定数量的点，而不是绘制全部点。例如，每隔100个点取一个（选择10万点），这样仍然可以保持数据的整体趋势，而不会卡顿。
• 聚合采样 (Data Aggregation): 将相邻的数据点聚合为一个单一的点。例如，对于每1000个点取其平均值或最大值、最小值，绘制一条平滑的曲线，这种方式可以让你保留趋势而减少总点数。

2. 使用 FastLine 绘图模式

C# Chart控件中有多种绘图类型，可以使用 FastLine 类型。这种类型不支持复杂的点样式和标签，但是绘图速度极快，非常适合大规模数据的快速绘制。

var chart = new Chart();
var chartArea = new ChartArea("ChartArea1");
chart.ChartAreas.Add(chartArea);

var series = new Series("Series1")
{
    ChartType = SeriesChartType.FastLine, // 使用FastLine以提高性能
    XValueType = ChartValueType.Double,
    YValueType = ChartValueType.Double,
};
chart.Series.Add(series);

// 添加数据点的方式
for (int i = 0; i < 10000000; i++)
{
    series.Points.AddXY(i, Math.Sin(i * 0.001)); // 示例数据
}

FastLine 是最适合绘制大量数据点的图表类型之一，因为它仅绘制线条而不绘制每个点的详细信息（例如点的形状、标签等），从而极大地提高了性能。

3. 绘图窗口 (Viewport) 滚动与缩放

当显示大量数据时，通常不会把所有点都直接显示在屏幕上，而是只显示一个视窗中的数据。可以让用户在界面上进行滚动和缩放查看数据的不同部分。

• 分区显示: 使用滚动条或者缩放控件，只显示一部分数据。比如，在图表上只显示一部分范围，用户滚动时动态加载下一部分的数据。
• 坐标轴的缩放控制: Chart控件支持缩放，利用 Axis.ScaleView 可以控制绘图窗口的显示区域。下面是一个实现的示例：

chart.ChartAreas[0].AxisX.ScaleView.Zoomable = true;
chart.ChartAreas[0].AxisY.ScaleView.Zoomable = true;

chart.MouseWheel += (s, e) =>
{
    try
    {
        if (e.Delta > 0)
        {
            chart.ChartAreas[0].AxisX.ScaleView.ZoomReset();
            chart.ChartAreas[0].AxisY.ScaleView.ZoomReset();
        }
        else if (e.Delta < 0)
        {
            double xMin = chart.ChartAreas[0].AxisX.ScaleView.ViewMinimum;
            double xMax = chart.ChartAreas[0].AxisX.ScaleView.ViewMaximum;
            double yMin = chart.ChartAreas[0].AxisY.ScaleView.ViewMinimum;
            double yMax = chart.ChartAreas[0].AxisY.ScaleView.ViewMaximum;

            chart.ChartAreas[0].AxisX.ScaleView.Zoom(xMin + 1, xMax - 1);
            chart.ChartAreas[0].AxisY.ScaleView.Zoom(yMin + 1, yMax - 1);
        }
    }
    catch { }
};

4. 分块加载 (Chunk Loading)

为了减少内存压力和界面卡顿，可以分块加载数据，即不一次性加载全部1000万个点，而是每次只加载当前可见窗口需要的那一部分数据。这样就能实现边滚动边加载数据的效果。

int chunkSize = 100000; // 每次加载的数量
for (int i = 0; i < chunkSize; i++)
{
    series.Points.AddXY(i, Math.Sin(i * 0.001));
}
// 在需要显示其他数据块的时候再加载其他数据块

5. 优化图表控件配置

• 禁用阴影和标记：尽量避免在大量数据点上使用阴影、标记和复杂的样式。它们会极大地影响性能。
• 减少点标记：仅在需要的时候才添加点标记 (series.MarkerStyle)，大量数据点上添加标记会导致图表渲染速度大幅降低。
• 减少重绘次数：在更新大量数据点时，最好先暂停绘图 (SuspendLayout())，再批量更新数据，然后再恢复绘图 (ResumeLayout())，避免每次添加数据点时进行重绘。

6. 替代绘图控件

C# 的 Chart 控件在处理如此大量的数据时有一定局限性，可以考虑使用性能更好的第三方绘图库，例如：

• LiveCharts：相对性能较好，支持 WPF 和 WinForms，可以处理较大的数据集。
• OxyPlot：一个轻量级且开源的图表库，适用于 WPF 和 Windows Forms，有良好的性能表现。
• SciChart：专为大数据量的图表绘制而设计的商业图表库，支持大量数据的高效渲染。

例如，使用 OxyPlot 进行大规模数据绘制时，可以创建非常轻量化的折线图，并且支持缩放、平移和视窗的滚动，以提高整体性能。

总结

绘制1000万个点不卡顿的关键在于减少需要绘制的数据点数量和优化绘图过程：

1. 数据简化与采样：减少显示的数据点数量，例如均匀采样或聚合点数据。
2. FastLine 图表类型：使用 Chart 控件的 FastLine 提高性能。
3. 视窗显示和分块加载：实现滚动和缩放机制来逐步显示大量数据。
4. 第三方控件：如果内置的 Chart 控件不能满足性能需求，考虑使用性能更强的第三方绘图控件。

这些方法结合使用，可以帮助你在绘制大量数据时保持良好的性能和用户体验。