gelsight 建立 lookup table

gelsight 建立 lookup table

  gelsight 是一款可以精确重建物体形状的触觉传感器。在gelsight的重建过程中最关键的步骤是建立lookup table，使得我们可以建立光强I和反射率R的映射关系来完成高度的重建。

  如上面文章所说，一般在对 gelsight 进行 lookup table 的建立时，使用的方法都是在 gelsight 上按压一个小球（半径2mm的小球），使用小球的原因有两个：一是因为球面理论上有所有方向的梯度，二是因为球面的方程简单。

  建立 lookup table 前需要得到上面图片中小球的 mask，因为只处理有按压的部分。 当按入半个球时，以其圆心为原点建立坐标系如下图，过原点的球面方程为：
$$x^2+y^2+z^2=R^2$$
  其中 z 是表面高度，这是未知的，x 和 y 是可以知道的。对球面方程求 z 对 x 和 y 的偏导，有
$$\begin{gathered} 2x+2z\frac{\partial z}{\partial x}=0 \\ 2y+2z\frac{\partial z}{\partial y}=0 \end{gathered}$$
化简后
$$\begin{gathered} \frac{\partial z}{\partial x}=-\frac{x}{z} \\ \frac{\partial z}{\partial y}=-\frac{y}{z} \end{gathered}$$

  但前面说了 z 是未知的，所以需要对偏导进行转换，可以将偏导改写为
$$\begin{gathered} \frac{\partial z}{\partial x}=-\frac{x}{r}\ast \frac{r}{z} \\ \frac{\partial z}{\partial y}=-\frac{y}{r}\ast \frac{r}{z} \end{gathered}$$
  r 是可以知道的，可以通过 gelsight 得到的图片计算。gelsight 得到的图片其实就是俯视图，俯视图就是球面在 xOy 面的投影，那么就可以通过计算像素距离来得到，这需要先知道 gelsight 得到的图片中每像素对应多少毫米，即 pix/mm。

  接下来观察上面的图片可以看出，$r/z$ 其实就是 $tan(\theta )$，z 不知道，但 $\theta$ 可以通过 $arcsin(r/R)$ 得到，所以
$$\frac{r}{z}=tan(arcsin(\frac{r}{R}))$$
  所以
$$\begin{gathered} \frac{\partial z}{\partial x}=-\frac{x}{r}\ast tan(arcsin(\frac{r}{R})) \\ \frac{\partial z}{\partial y}=-\frac{y}{r}\ast tan(arcsin(\frac{r}{R})) \end{gathered}$$
  下面就可以建立 lookup table ，首先设置一个 bins（将RGB三通道每通道划分为 bins 份）。对 gelsight 得到的图片的三个通道归一化后乘以（bins-1）再向下取整，这样RGB的值就会限制在【0，bins-1】。初始化三个数组，每个大小为（bins，bins，bins），记为countRGB， RGBgradx 和 RGBgrady。

  得到 mask 图片中值为1的所有位置下标，在 gelsight 得到的图片上循环这些位置（即小球包含的像素的位置），得到对应像素的RGB三通道的值r、g、b，将这个作为索引在 countRGB 对应位置+1，即 countRGB[r,g,b] += 1，记录这个像素值出现的次数。

  对于梯度的存放也和 countRGB 一样，但是在放入对应的值前需要做加权，即如

if countRGB[r,g,b] != 0:
	RGBgradx[r,g,b] = (RGBgradx[r,g,b] *countRGB[r,g,b] + gradx) / (countRGB[r,g,b] +1)
else
	RGBgradx[r,g,b] = gradx

  对于没有对应像素值的位置，即countRGB[r,g,b] = 0的位置，可以采用插值，最简单的是计算该位置离那个有值的位置最近，就将那个有值的位置的值取过来附上（最近邻插值）。