gelsight 建立 lookup table
gelsight 是一款可以精确重建物体形状的触觉传感器。在gelsight的重建过程中最关键的步骤是建立lookup table,使得我们可以建立光强I和反射率R的映射关系来完成高度的重建。
如上面文章所说,一般在对 gelsight 进行 lookup table 的建立时,使用的方法都是在 gelsight 上按压一个小球(半径2mm的小球),使用小球的原因有两个:一是因为球面理论上有所有方向的梯度,二是因为球面的方程简单。
建立 lookup table 前需要得到上面图片中小球的 mask,因为只处理有按压的部分。 当按入半个球时,以其圆心为原点建立坐标系如下图,过原点的球面方程为:
x
2
+
y
2
+
z
2
=
R
2
x^2+y^2+z^2=R^2
x2+y2+z2=R2
其中 z 是表面高度,这是未知的,x 和 y 是可以知道的。对球面方程求 z 对 x 和 y 的偏导,有
2
x
+
2
z
∂
z
∂
x
=
0
2
y
+
2
z
∂
z
∂
y
=
0
2x+2z\frac{\partial z}{\partial x}=0 \\ 2y+2z\frac{\partial z}{\partial y}=0 \\
2x+2z∂x∂z=02y+2z∂y∂z=0
化简后
∂
z
∂
x
=
−
x
z
∂
z
∂
y
=
−
y
z
\frac{\partial z}{\partial x} = -\frac{x}{z} \\ \frac{\partial z}{\partial y} = -\frac{y}{z}
∂x∂z=−zx∂y∂z=−zy
但前面说了 z 是未知的,所以需要对偏导进行转换,可以将偏导改写为
∂
z
∂
x
=
−
x
r
∗
r
z
∂
z
∂
y
=
−
y
r
∗
r
z
\frac{\partial z}{\partial x} = -\frac{x}{r}*\frac{r}{z} \\ \frac{\partial z}{\partial y} = -\frac{y}{r}*\frac{r}{z}
∂x∂z=−rx∗zr∂y∂z=−ry∗zr
r 是可以知道的,可以通过 gelsight 得到的图片计算。gelsight 得到的图片其实就是俯视图,俯视图就是球面在 xOy 面的投影,那么就可以通过计算像素距离来得到,这需要先知道 gelsight 得到的图片中每像素对应多少毫米,即 pix/mm。
接下来观察上面的图片可以看出,
r
/
z
r/z
r/z 其实就是
t
a
n
(
θ
)
tan(\theta)
tan(θ),z 不知道,但
θ
\theta
θ 可以通过
a
r
c
s
i
n
(
r
/
R
)
arcsin(r/R)
arcsin(r/R) 得到,所以
r
z
=
t
a
n
(
a
r
c
s
i
n
(
r
R
)
)
\frac{r}{z}=tan(arcsin(\frac{r}{R}))
zr=tan(arcsin(Rr))
所以
∂
z
∂
x
=
−
x
r
∗
t
a
n
(
a
r
c
s
i
n
(
r
R
)
)
∂
z
∂
y
=
−
y
r
∗
t
a
n
(
a
r
c
s
i
n
(
r
R
)
)
\frac{\partial z}{\partial x} = -\frac{x}{r}*tan(arcsin(\frac{r}{R})) \\ \frac{\partial z}{\partial y} = -\frac{y}{r}*tan(arcsin(\frac{r}{R}))
∂x∂z=−rx∗tan(arcsin(Rr))∂y∂z=−ry∗tan(arcsin(Rr))
下面就可以建立 lookup table ,首先设置一个 bins(将RGB三通道每通道划分为 bins 份)。对 gelsight 得到的图片的三个通道归一化后乘以(bins-1)再向下取整,这样RGB的值就会限制在【0,bins-1】。初始化三个数组,每个大小为(bins,bins,bins),记为countRGB, RGBgradx 和 RGBgrady。
得到 mask 图片中值为1的所有位置下标,在 gelsight 得到的图片上循环这些位置(即小球包含的像素的位置),得到对应像素的RGB三通道的值r、g、b,将这个作为索引在 countRGB 对应位置+1,即 countRGB[r,g,b] += 1,记录这个像素值出现的次数。
对于梯度的存放也和 countRGB 一样,但是在放入对应的值前需要做加权,即如
if countRGB[r,g,b] != 0:
RGBgradx[r,g,b] = (RGBgradx[r,g,b] *countRGB[r,g,b] + gradx) / (countRGB[r,g,b] +1)
else
RGBgradx[r,g,b] = gradx
对于没有对应像素值的位置,即countRGB[r,g,b] = 0的位置,可以采用插值,最简单的是计算该位置离那个有值的位置最近,就将那个有值的位置的值取过来附上(最近邻插值)。