python 笔记 geo-bleu

1 介绍

• 提供了两个针对每个用户ID的评估函数，calc_geobleu() 和 calc_dtw()
  • 这两个函数接受基于用户ID的生成轨迹和参考轨迹作为参数，并分别给出 GEO-BLEU 的相似度值和 DTW 的距离值
  • 轨迹是由元组列表组成的，每个元组表示 (d, t, x, y) 或 (uid, d, t, x, y)，并且在每个步骤中生成的和参考的日期和时间值必须相同
  • 在内部，这两个函数按天评估轨迹，并返回多天的平均值
• 任务的最终得分将是所有用户ID上这些函数输出的平均值
  • 一般来说，任务的 GEO-BLEU 分数可能非常小，可能在 10^-3 或 10^-4 的数量级，因为计算涉及到取负输入值的指数项
• 对于 GEO-BLEU 的超参数，我们使用 N = 3（使用一元、二元和三元），w_n = 1/3（修改后的精度用等权重几何平均），和 beta = 0.5（使得当两点间距离为 1 公里时，两点的接近度为 e^-1）
• 对于 DTW，我们将 1 公里作为单位长度，将用单元格坐标计算出的距离内部除以 2
  • 比如我原来(0,0)和(0,1)之间的距离是1，现在是0.5【相当于两个grid之间的平均距离】

2 使用

import geobleu

# tuple format: (d, t, x, y)
generated = [
    (60, 12, 84, 88),
    (60, 15, 114, 78),
    (60, 21, 121, 96),
    (61, 12, 78, 86),
    (61, 13, 89, 67),
    (61, 17, 97, 70),
    (61, 20, 96, 70),
    (61, 24, 111, 80),
    (61, 25, 114, 78),
    (61, 26, 99, 70),
    (61, 38, 77, 86),
    (62, 12, 77, 86),
    (62, 14, 102, 129),
    (62, 15, 104, 131),
    (62, 17, 106, 131),
    (62, 18, 104, 110)]

reference = [
    (60, 12, 82, 93),
    (60, 15, 114, 78),
    (60, 21, 116, 96),
    (61, 12, 82, 84),
    (61, 13, 89, 67),
    (61, 17, 97, 70),
    (61, 20, 91, 67),
    (61, 24, 109, 82),
    (61, 25, 110, 78),
    (61, 26, 99, 70),
    (61, 38, 77, 86),
    (62, 12, 77, 86),
    (62, 14, 97, 125),
    (62, 15, 104, 131),
    (62, 17, 106, 131),
    (62, 18, 103, 111)]

geobleu_val = geobleu.calc_geobleu(generated, reference, processes=3)
print("geobleu: {}".format(geobleu_val))

dtw_val = geobleu.calc_dtw(generated, reference, processes=3)
print("dtw: {}".format(dtw_val))

# geobleu: 0.21733678721880598
# dtw: 5.889002930255253

3 【针对Humob】

• 使用validator.py 来检查您的提交文件是否符合任务要求
  • 假设任务 B 的训练数据解压后位于 foo/task_b_dataset.csv，而任务 B 提交文件在压缩前位于 bar/baz_task_b_humob.csv，命令将是：

python3 validator.py b foo/task_b_dataset.csv bar/baz_task_b_humob.csv