Mobile Device Based Outdoor Navigation With On-line Learning Neural Network

Mobile Device Based Outdoor Navigation With On-line Learning Neural Network: a Zheng, Mobile Device Based Outdoor Navigation With On-line Learning Neural Network: a Comparison with Convolutional Neural Network 

Zejia, and Juyang Weng. “Mobile Device Based Outdoor Navigation with On-Line Learning Neural Network: A Comparison with Convolutional Neural Network.” 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2016, pp. 11–18.

Problems:

1.Traditional autonomous navigation systems construct 3D driving scenes to recognize open and occupied voxels by using laser range scanners, which are not available on mobile devices.

2.Existing image-based navigation methods, on the other hand, are costly in computation and thus cannot be deployed onto a mobile device.

3.a closer look into the architecture reveals that the CNN, although giving satisfactory final performance, is not the best choice for realtime navigation.

 

Ideas:

1.we present an on-line learning neural network for real-time outdoor navigation using only the computational resources available on a standard android mobile device (i.e. camera, GPS, and no cloud back-end).

2.The network is trained to recognize the most relevant object in current navigation setting and make corresponding decisions (i.e. adjust direction, avoid obstacles, and follow GPS).

3.we describe the design and learning system for our outdoor navigation application based on the Developmental Network (DN).

 

Related works:

1.Although there are many existing algorithms for outdoor robotic navigation, these

algorithms are often dependent on proximity sensors such as radars which are not available in current mobile devices[11, 7].

2.Visual based approaches proposed in [3, 8, 1], on the other hand, are costly in computation, which makes realtime training and testing with no cloud back-end support impossible.

3.In contrast with other outdoor navigation systems which often have their own motors to carry out precise movements[7, 11], our mobile phone based application provides only rough instructions to the human user (i.e. left, slightly left,right, slightly right, forward, and stop).Thus it is natural for one to resort to current state of the art image classifier Convolutional Neural Network (CNN).

4.Although CNNs are proven effective in batch image classification and feature extraction, the architecture and learning mechanism suffers from the following drawbacks in mobile device based outdoor navigation:

1)Inconsistent on-line learning performance.

2)Computationally costly update on resource limited mobile device.

 

Algorithm overview:

1)model structure

隐藏层包含三个子层，其中神经元的感受野不同，因此每层单个神经元管的图像区域均不一样，分别是15，19，21个像素点。其中DN_No_Recog在隐藏层和输入层与该DN(表示为DN Full)具有相同的架构，区别在于DN_No_Recog没有ZR（障碍类别信息）和ZA（注意区域信息）的信息。

 

 

CNN_GPS_Recog架构中加入额外的识别信息，包括GPS信号、障碍类别信息以及注意区域信息；CNN_GPS网络在卷积和池化参数方面与CNN_GPS_Recog具有相同的架构，但在训练中没有可供CNN_GPS使用的类型和注意信息。

 

2)Developmental Network

 

CNN采用随机梯度下降(SGD)训练，经过多次(通常是数百次)的微调，才能达到满意的性能,另一方面，Hebbianl learning使用输入图像来初始化权值并找到微调方向。基于Hebbianl learning的网络的收敛速度通常比相同规模的梯度网络快得多，使其成为在线学习场景的更好的学习机制。为了更新其网络权值，CNN依靠误差反向传播(error-back propagation)来求出误差函数对每个权值的偏导数，调优过程在移动设备上使用了太多的资源，使得它不适用于实时导航任务。相比之下，competitive learning(在我们的网络中建模为top-k竞争)只更新整个网络的一小部分。具有最高放电值的神经元(这意味着它们的存储模式与当前输入最相关)会抑制另一个神经元的放电”无关紧要”的神经元。权重微调只在这些放电神经元中进行，而这些神经元通常被设置为整个网络的一小部分，从而节省了计算资源，并在其他受抑制神经元中保留了存储模式。

Hebbian leaning发生在放电神经元中。在获胜神经元中触发放电的输入被记住为现有权值向量的增量平均值。如果神经元在上述多步横向竞争中获胜(其放电率大于零)，则其自底向上的权值和自上向下的权值将使用以下Hebbian learning规则进行更新:

   (1)

其中为神经元i对应的自底向上的权值，为调整后的响应值，为t时刻X区域的输入向量。以及分别为保留率以及学习率，具体如下：(2)

其中为神经元的激活年龄，为相应的学习速率，其变化规律与神经元的激活年龄相关以及其变化范围有关，具体规则如下：

(3)

其中，。

Hebbian learning中极重要的部分就是学习原有的知识，其由调整后隐藏层（Y区域）的响应值以及X区域的输入信息构成，而隐藏层响应值的调整规则如下：

(4)

为最高响应值，为第k + 1个最高响应值，为预响应值，k就是top-k竞争中的k值，实验中我们设置k为3。预响应值设置为每个神经元i计算其自底向上的响应值以及自上而下的响应值的平均值。

(5)

 

自底向上的响应值以及自上而下的响应值计算规则相似，即相似度计算。前者是所有神经元接收的输入信息与存储信息的相似度累积计算，后者是Z区域的监督信息与Y->Z存储信息的相似度累积计算。而具体的每个神经元的相似度计算如式(6)所示，即两个单位向量的内积计算。

(6)

Experiment：

在类型信息和位置信息的帮助下，DN Full学习识别当前设置中最相关的对象，从而获得比其他架构更好的性能。然而，CNN_GPS_Recog在训练开始时的表现略优于CNN_GPS，类型信息和位置信息在梯度下降过程中似乎没有帮助。根据上图可知，基于Hebbian learning的网络，如DN_Full和DN No_Recog，只经过一个阶段的训练就达到了它们的最佳性能。基于SGD的架构，如CNN_GPS和CNN_GPS_Recog只有在400次微调后才能达到可比的性能。因此，对于一些特殊需求的应用场景，比如实时的在线学习以及有限计算资源的移动设备的导航应用需求中，DN的架构是个不二选择。