gelsight 建立 lookup table

gelsight 建立 lookup table

在这里插入图片描述

  gelsight 是一款可以精确重建物体形状的触觉传感器。在gelsight的重建过程中最关键的步骤是建立lookup table,使得我们可以建立光强I和反射率R的映射关系来完成高度的重建。

在这里插入图片描述
  如上面文章所说,一般在对 gelsight 进行 lookup table 的建立时,使用的方法都是在 gelsight 上按压一个小球(半径2mm的小球),使用小球的原因有两个:一是因为球面理论上有所有方向的梯度,二是因为球面的方程简单。

在这里插入图片描述

  建立 lookup table 前需要得到上面图片中小球的 mask,因为只处理有按压的部分。 当按入半个球时,以其圆心为原点建立坐标系如下图,过原点的球面方程为:
x 2 + y 2 + z 2 = R 2 x^2+y^2+z^2=R^2 x2+y2+z2=R2
  其中 z 是表面高度,这是未知的,x 和 y 是可以知道的。对球面方程求 z 对 x 和 y 的偏导,有
2 x + 2 z ∂ z ∂ x = 0 2 y + 2 z ∂ z ∂ y = 0 2x+2z\frac{\partial z}{\partial x}=0 \\ 2y+2z\frac{\partial z}{\partial y}=0 \\ 2x+2zxz=02y+2zyz=0
化简后
∂ z ∂ x = − x z ∂ z ∂ y = − y z \frac{\partial z}{\partial x} = -\frac{x}{z} \\ \frac{\partial z}{\partial y} = -\frac{y}{z} xz=zxyz=zy

在这里插入图片描述

  但前面说了 z 是未知的,所以需要对偏导进行转换,可以将偏导改写为
∂ z ∂ x = − x r ∗ r z ∂ z ∂ y = − y r ∗ r z \frac{\partial z}{\partial x} = -\frac{x}{r}*\frac{r}{z} \\ \frac{\partial z}{\partial y} = -\frac{y}{r}*\frac{r}{z} xz=rxzryz=ryzr
  r 是可以知道的,可以通过 gelsight 得到的图片计算。gelsight 得到的图片其实就是俯视图,俯视图就是球面在 xOy 面的投影,那么就可以通过计算像素距离来得到,这需要先知道 gelsight 得到的图片中每像素对应多少毫米,即 pix/mm。

  接下来观察上面的图片可以看出, r / z r/z r/z 其实就是 t a n ( θ ) tan(\theta) tan(θ),z 不知道,但 θ \theta θ 可以通过 a r c s i n ( r / R ) arcsin(r/R) arcsin(r/R) 得到,所以
r z = t a n ( a r c s i n ( r R ) ) \frac{r}{z}=tan(arcsin(\frac{r}{R})) zr=tan(arcsin(Rr))
  所以
∂ z ∂ x = − x r ∗ t a n ( a r c s i n ( r R ) ) ∂ z ∂ y = − y r ∗ t a n ( a r c s i n ( r R ) ) \frac{\partial z}{\partial x} = -\frac{x}{r}*tan(arcsin(\frac{r}{R})) \\ \frac{\partial z}{\partial y} = -\frac{y}{r}*tan(arcsin(\frac{r}{R})) xz=rxtan(arcsin(Rr))yz=rytan(arcsin(Rr))
  下面就可以建立 lookup table ,首先设置一个 bins(将RGB三通道每通道划分为 bins 份)。对 gelsight 得到的图片的三个通道归一化后乘以(bins-1)再向下取整,这样RGB的值就会限制在【0,bins-1】。初始化三个数组,每个大小为(bins,bins,bins),记为countRGB, RGBgradx 和 RGBgrady。

  得到 mask 图片中值为1的所有位置下标,在 gelsight 得到的图片上循环这些位置(即小球包含的像素的位置),得到对应像素的RGB三通道的值r、g、b,将这个作为索引在 countRGB 对应位置+1,即 countRGB[r,g,b] += 1,记录这个像素值出现的次数。

  对于梯度的存放也和 countRGB 一样,但是在放入对应的值前需要做加权,即如

if countRGB[r,g,b] != 0:
	RGBgradx[r,g,b] = (RGBgradx[r,g,b] *countRGB[r,g,b] + gradx) / (countRGB[r,g,b] +1)
else
	RGBgradx[r,g,b] = gradx

  对于没有对应像素值的位置,即countRGB[r,g,b] = 0的位置,可以采用插值,最简单的是计算该位置离那个有值的位置最近,就将那个有值的位置的值取过来附上(最近邻插值)。

  • 4
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Y (O - O) Y

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值