44、大数据流学习与儿童陪伴机器人技术探索

大数据流学习与儿童陪伴机器人技术探索

在机器学习领域，最近邻搜索在诸多方面有着重要作用，但面对高维数据时存在局限性。为解决这一问题，局部敏感哈希（LSH）提供了一种处理高维数据的替代方法。

局部敏感哈希（LSH）基础

LSH通过近似相似性搜索问题来处理高维数据。在一般哈希中，为避免冲突，每个输入被分配到不同的桶；而在LSH中，当输入数据彼此接近时，它们会被分配到相同的桶。这使得LSH能够更快地搜索相似数据，因为它可以在线性时间内找到最近邻，相比传统最近邻的二次成对方法，对高维数据和大规模数据具有优势。然而，LSH的一个主要局限性是其内存消耗大，为了保持高召回率和高精度，需要一个大的哈希表。

基于LSH的学习模型

提出了一种采用具有长期记忆的资源分配网络（RAN - LTM）主动学习算法的学习模型，其中LSH用于从大量数据中选择有用的训练数据。
- 基本思想 ：传统的RAN - LTM方法基于输出裕度进行数据选择，需要为每个训练数据候选者计算输出裕度，这会增加径向基函数（RBF）单元的数量，从而增加计算时间。为避免输出裕度计算的重复，将数据划分为桶，相邻数据分组在同一桶中。结合LSH和基于裕度的方法，只有新桶中的未知数据由RAN - LTM学习，非空桶中的数据在学习阶段被忽略。此外，提出了一种局部学习算法，只选择性地学习对训练数据具有高激活的RBF基。
- LSH - 基于的数据选择
- 确定哈希函数 ：构建基于LSH的数据选择的第一步是定义哈希函数，使相似数据落入同一桶。一般来说，定义的哈希函数越多，对输入空间的近