《美团机器学习实践》学习笔记：POI实体链接与评论挖掘

POI实体链接

概念：POI实体链接是指对相同POI的不同描述进行关联和聚合。

背景和难点

两组POI信息——一组是美团已经有的POI信息库（库存POI库），另一组是希望与之进行POI实体链接的信息库（待选POI库）。目标是希望两个库中实际实体相同的POI建立一对一或多对一的实体链接。如“IU酒店晋中介休裕华路店”与“IU酒店（晋中介休裕华路店）”是同一个实体的不同POI，只是在写法上有差别，不能简单利用名称字符串相同的规则进行筛选匹配。

若待选POI库中有M个POI，库存POI库有N个，则每个待选POI库中的POI都需要和全量的库存POI作比较，选出相似度高的POI建立实体链接，运算复杂度为O(NM)。这种复杂度在实际应用场景中是不可接受的。

为解决这个问题，可以从两个方面考虑：

1. 通过聚类的方式进行POI聚合——为库存POI库中的每个POI建立一个簇，计算待选POI与每个簇中的所有POI的平均相似度，大于某个阈值时，将该POI放入该簇中。相似的簇合并、迭代。

2. 通过建立索引的方式缩小比较候选集——以倒排列表方式为例，根据索引规则建立倒排列表（格式：索引-->POI的ID簇），建立正排列表（格式：POI的ID-->该POI的所有信息），待选POI搜索倒排列表，根据索引查出多个ID簇，对多个ID簇中的POI进行合并去重，从正排列表中取出对应的POI信息，计算与待选POI的相似度较高的结果并返回。

第一种方法不适合线上系统ÿ