1 介绍
- 提供了两个针对每个用户ID的评估函数,calc_geobleu() 和 calc_dtw()
- 这两个函数接受基于用户ID的生成轨迹和参考轨迹作为参数,并分别给出 GEO-BLEU 的相似度值和 DTW 的距离值
- 轨迹是由元组列表组成的,每个元组表示 (d, t, x, y) 或 (uid, d, t, x, y),并且在每个步骤中生成的和参考的日期和时间值必须相同
- 在内部,这两个函数按天评估轨迹,并返回多天的平均值
- 任务的最终得分将是所有用户ID上这些函数输出的平均值
- 一般来说,任务的 GEO-BLEU 分数可能非常小,可能在 10^-3 或 10^-4 的数量级,因为计算涉及到取负输入值的指数项
- 对于 GEO-BLEU 的超参数,我们使用 N = 3(使用一元、二元和三元),w_n = 1/3(修改后的精度用等权重几何平均),和 beta = 0.5(使得当两点间距离为 1 公里时,两点的接近度为 e^-1)
- 对于 DTW,我们将 1 公里作为单位长度,将用单元格坐标计算出的距离内部除以 2
- 比如我原来(0,0)和(0,1)之间的距离是1,现在是0.5【相当于两个grid之间的平均距离】
2 使用
import geobleu
# tuple format: (d, t, x, y)
generated = [
(60, 12, 84, 88),
(60, 15, 114, 78),
(60, 21, 121, 96),
(61, 12, 78, 86),
(61, 13, 89, 67),
(61, 17, 97, 70),
(61, 20, 96, 70),
(61, 24, 111, 80),
(61, 25, 114, 78),
(61, 26, 99, 70),
(61, 38, 77, 86),
(62, 12, 77, 86),
(62, 14, 102, 129),
(62, 15, 104, 131),
(62, 17, 106, 131),
(62, 18, 104, 110)]
reference = [
(60, 12, 82, 93),
(60, 15, 114, 78),
(60, 21, 116, 96),
(61, 12, 82, 84),
(61, 13, 89, 67),
(61, 17, 97, 70),
(61, 20, 91, 67),
(61, 24, 109, 82),
(61, 25, 110, 78),
(61, 26, 99, 70),
(61, 38, 77, 86),
(62, 12, 77, 86),
(62, 14, 97, 125),
(62, 15, 104, 131),
(62, 17, 106, 131),
(62, 18, 103, 111)]
geobleu_val = geobleu.calc_geobleu(generated, reference, processes=3)
print("geobleu: {}".format(geobleu_val))
dtw_val = geobleu.calc_dtw(generated, reference, processes=3)
print("dtw: {}".format(dtw_val))
# geobleu: 0.21733678721880598
# dtw: 5.889002930255253
3 【针对Humob】
- 使用validator.py 来检查您的提交文件是否符合任务要求
- 假设任务 B 的训练数据解压后位于 foo/task_b_dataset.csv,而任务 B 提交文件在压缩前位于 bar/baz_task_b_humob.csv,命令将是:
python3 validator.py b foo/task_b_dataset.csv bar/baz_task_b_humob.csv