Enabling smartphone operation with an IMU ring for visually impaired people

一、解决问题

• 面向群体：视障人群
• 痛点问题：
  • 从口袋掏出手机费力费时
  • 一般会单手拿盲杖，所以导致双手交互不便
  • 手机屏幕无意识暴露，造成隐私泄露

二、提出方法

手机放在口袋中，在食指上佩戴一个手环，通过检测单手动作，实现指令输入，同时通过耳机生成听觉反馈。

• 额外佩戴带有IMU的戒指
• 手部微动作检测
• 单手交互
• 听觉反馈

三、相关方法对比

方法	不需要移出口袋	单手交互	隐私保护	社交认可
腕部交互	√	×	√	×
手指交互	√	√	√	√
身体交互	√	√	√	×

四、技术路线

• 可以设计什么样的手势？
• 如何识别这些手势？
• 这种交互的实用性？

五、相关工作 / 关键词

1. 相关工作
   • 智能手机非触摸输入技术
   • 基于智能指环的设备控制技术
   • 视障人群免手机交互技术
2. 关键词
   • phone-free interaction
   • screen-touch-free interactions
   • in-pocket smartphone operation
   • PocketTouch
   • through-pocket gestures
   • ring interaction
   • on-skin touch tracking
   • expand interaction beyond the small confines of a smartwatch touchscreen
   • portable wearable device
   • lightweight wearable ddevice
   • smart-home interaction
   • subtle finger gestures
   • smartphone interaction
   • finger-worn textile sensor
   • visually impaired people
   • eyes-free on-skin interface VS on-device interface
   • blind VS sighted users

六、研究内容

1. 命令与手势设计

• 前提：
  • 招募15个满足预设准则的盲人参与实验设计
  • 预先介绍指环交互的概念
• 命令设计：
  • 场景：在哪些场景下，不方便使用手机，且在这种情况下，用指环交互更方便
    1）时间敏感型
    2）一个手被占用，需要单手交互
    3）哪些社交场合需要指环交互，而不引起社交尴尬
    4）手指无法正常触摸电容屏，比如戴手套、潮湿等
  • 指令：常用的交互指令
• 手势设计
  • 预先定义一系列手势
    
  • 招募20个人，对定义的手势做易用性评分
• 手势与指令映射

2. 手势识别

• 数据：IMU数据
• 算法：SVM
• 效果评估：高准确率+低时延

3. 可用性评估

• 评估场景设计
• 与现有使用方式做效率对比
  
• 用Likert问卷做用户主观性评分

  • 易用性

  • 效率
    

  • 与现有方式针对上述两点做对比评分