人机交互工具包研究的评估策略

最新推荐文章于 2022-01-14 09:14:07 发布

大爱助手

最新推荐文章于 2022-01-14 09:14:07 发布

阅读量1.1k

点赞数

分类专栏：论文翻译科研文章标签： 1024程序员节人机交互 toolkit

原文链接：http://www.research.lancs.ac.uk/portal/services/downloadRegister/217298561/Evaluation_Strategies_in_HCI_Toolkit_Research_FINAL.pdf

版权

科研同时被 2 个专栏收录

24 篇文章 6 订阅

订阅专栏

论文翻译

6 篇文章 1 订阅

订阅专栏

Evaluation Strategies for HCI Toolkit Research

前言
摘要
引言
What is a toolkit
Defining a toolkit
Why do research build toolkits
Evaluating Toolkits
Methodology
Discussion
Conclusions
References

前言

本文翻译了发表在CHI2018的研究综述 << Evaluation Strategies for HCI Toolkit Research>>
Toolkit在HCI中出现频率较高,但是针对于特定Toolkit的合适的评估方法却并不容易确定.
该文比较了68篇HCI领域的Toolkit,并总结出了针对于Toolkit的四类评估方法.

译者水平有限,意在描述大体思路,多数句子意译.处理不当之处欢迎指出.
toolkit不同地方翻译为工具包,工具组,工具集,工具箱.此处就不翻译了,还是叫toolkit比较顺.

注1:bias(本文翻译为偏见)
bias的定义:如果一个计算机系统系统的系统的不公平的歧视某些个人或群体,而偏袒其他人,则称之为有偏见
(Friedman, Batya and Nissenbaum, Helen (1996) Bias in computer systems. A CM Tramactions on Information Systemsk4 pp. 330-347)

注2:大多数HCI研究归为三类问题:经验性的(empirical) ,概念性的(conceptual) 和建设性的(constructive)
(Antti Oulasvirta and Kasper Hornbæk. 2016. HCI Research As Problem-Solving. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems (CHI ’16). ACM, New York, NY, USA, 4956–4967.https://doi.org/10.1145/2858036.2858283)

摘要

Toolkit的研究在HCI很重要,它可以极大的影响交互系统的设计和实现.对于发表的文献,HCI社区通常系统这些研究包含评估部分.对于Toolkit的评估很有挑战性,因为"评估什么"和"怎么评估"常常不是非常明确.为了解决这个问题,我们分析了已经发表的68篇toolkit文章.通过分析,我们得出了关于toolkit评估方法的综述,反思以及讨论.我们确认并讨论了四种toolkit评估策略以及它们采用的技术.我们为toolkit研究者提供了评估策略的归类以及每个策略的价值,潜在偏见和权衡的讨论

引言

在HCI领域中,Greenberg[27]将toolkit定义为一种为程序员封装界面设计概念的方法,包括程序集,界面生成器(interface builder)和开发环境.设计者和开发者用这样的toolkit来创建交互型应用.因此,toolkit更适合被看作为了创建产物而设计的生成平台,同时可以简化创作过程并支持进行创造性探索.

虽然HCI研究中toolkit有很多,但从经验上来说toolkit论文因为各种偏见很难发表[72].比如,有些审稿人仅仅将toolki看作工程,而不是研究.另一种偏见是审稿人要求对toolkit进行评估(通常是通过某种特定的办法),但是没有考虑这种评估是否实际上对特定的toolkit贡献时必要的或是恰当的(译者的私货:赞同!!!).因此,关于将toolkit作为研究贡献的认可仍然是一个挑战和一个经常讨论的话题[27,68,77].与HCI其他工作一致,我们应该期望HCI toolkit研究使用合适的评估方法来最好地匹配所考虑的特定研究问题[28].然而,尽管当前的文献确实使用了评估方法,但是对于用什么方法,什么时候适用,以及这些方法如何通过不同的技术来实现评估,几乎没有总结性的反思.

HCI toolkit论文的数量在过去20年中有明显的增加.论文通常采用一系列的评估方法,通常从软件工程,设计和可用性评估中借鉴和整合技术.我们可以思考toolkit研究人员是如何集体得出那些评估方法是有效的,何时用是适当的以及它们是如何执行的.

基于对于68篇代表性的toolkit论文的分析,这篇论文对HCI研究中toolkit的评估方法进行了综述和深入探讨.我们确定出了四种评估策略的类型:(1) 演示(demonstration),(2)使用(usage), (3) 技术基准(technical benchmarks), and(4) 启发式(heuristics)评估.我们提出这四种评估类型,讨论每种策略对应的价值和偏见(注1).研究人员可以使用这些综合的方法来对他们的toolkit研究选择合适的评估技术.

What is a toolkit

在HCI文献里,toolkit这一词被广泛地用于形容各种类型的软件,硬件,设计和概念性的框架.Toolkit研究被归为建设性研究(constructive research)(注2).建设性研究被 Oulasvirta and Hornbæk定义为:“在人类对计算机的使用中,为了某种目的而提供对交互造物构造过程的理解”[78].他们指出,建设性研究是由于(完全)已知的解决方案或资源的缺失所驱动来实现和部署该解决方案.作为建设性研究,toolkit发现新概念,设计或技术解决方案来解决未解决的问题.为了明确我们的审查范围,我们介绍了toolkit和toolkit评估的定义和总结以及为什么HCI研究人员构建toolkit.

Defining a toolkit

我们拓展Greenberg原来的定义[27]来定义toolkits:“旨在创建新的交互产物,提供对复杂算法的轻松访问,实现软硬件接口的快速原型设计,或者提供对设计空间的创造性探索而设计的生成平台”
因此,toolkit提供给用户一个由各种定义好的可置换的构件,结构,或基元,以及定义为最小阻力路径的逻辑或设计流序列组成的编程或配置环境.为了简化工作流,toolkits可能也包含自动化(比如.识别和保存手势[62])或实时数据监控(比如,可视化工具[48,59]),以使开发者更好的理解他们自己的过程和结果.

Why do research build toolkits

在讨论toolkit评估之前,我们先详细说说toolkit对于HCI研究的贡献.Wobbrock和Kientz将toolkits定位为一个产物贡献:“被嵌入到产物和描述它的支持材料并体现出的新知识”[106] (new knowledge is embedded in and manifested by artifacts and the supporting materials that describe them.绕口).我们总结了 [68] [77][27]对于HCI系统研究价值的讨论,得出了toolkit的五个目标:

G1.减少编写时间和复杂性
toolkit通过将概念风创城简化的专业知识使得用户更容易编写新的交互式系统[27,77]
G2.生成最小阻力路径
Toolkit为用户定义了创建新的解决方案的规则和途径,引导他们找到正确的解决方案,远离错误的.
G3.授权给新的受众
考虑到toolkits减少了构建新的交互式解决方案的工作量,他们可以允许新的群体来编写这些解决方案.例如,Olsen[77]讨论了界面构建器如何向艺术家和设计者开放界面设计.
G4.融合当前实践和基础设施
Toolkits可以将它们的想法与现有的基础设施和标准相结合,实现组合[77],并突出基础设施研究对于HCI的价值[23].比如,D3[12]与流行的现有标准相结合,可以说这对它被应用有显著的贡献.
G5.允许重现和创造性探索
Toolkits允许探索概念的想法的重现,以此共同创建出一套新的tools.它们一起工作以扩大规模,创建"比以往更大更有力的解决方案"[77].

Evaluating Toolkits

HCI toolkit和系统研究的一个共同点是发表的困难[72].这一部分源于审稿人需要评估方法,无论该方法是否对toolkit的贡献必要或合适.一部分问题是缺乏明确的方法[72]或者在toolkit中对于评估的定义.作为toolkit设计者,我们的立场是toolkit的评估必须源于论文中的主张(claims).这意味着理解并接受一个事实,即评估实际上是一种贯彻提出创新主张的手段.并扪心自问:“我们从评估中得到了什么”
toolkits与执行一个任务(比如,一个系统,一个算法或者一种交互技术)从根本上来说是不同的,因为它们可以在解决方案空间中提供生成式的,开放式的创作.Toolkit用户可以通过重用,组合和调整toolkit提供的构件(build blocks).因此,对于这种生成能力的权衡仍是有待开发的巨大空间.因此,只检查一小部分使用情况的评估方法不适合证明研究贡献,也不能代表一个toolkit的成功.正如Olsen[77]在他对于评估系统研究的反思论文中总结的:“简单的度量可以产生不一定有意义的简单化进度(simple metrics can produce simplistic progress that is not necessarily meaningful)”.因此,核心问题是,"什么是评估?"以及我们如何反思和评估如此复杂的toolkit研究.

Methodology

本文阐述了HCI社区内现代toolkit研究中观察到的实践评估.为了对这些评估实践建立深入的理解,我们报告基于对一组代表性的toolkit论文的分析的综合审查(meta-review)结果.
在这里插入图片描述

Dataset

为了收集HCI toolki中有代表的论文集,我们匹配以下标准选出58篇论文:
出版地点和日期: 我们选择了2000年以来在ACM SIGCHI主要会议(比如,CHI,UIST,DIS,Ubicomp,TEI,MobildHCI)发表的toolkit论文.
关键词和定义: 我们选择包含以下关键词的论文:toolkit,设计工具,原型设计工具,框架,API.所有论文都遵循我们提到的toolkit的定义.
我们基于典型影响(比如,引用数量,应用程度)额外选出10篇论文,比如D3[12],Piccolo/Jazz[[6],以及Context Toolkit[85].数据集总共包含68篇论文(表1).尽管数据集没有包含所有的toolkit论文,但它是一个具有代表性的样本,我们可以从中(1)收集见解以及(2)发起关于评估有意义的讨论.
在这里插入图片描述

Analysis and Result

数据集经过多步分析.我们其中一个作者对我们样本中一个子集进行了open-coding[14],描述了每个文献中使用的评估方法.然后,我们共同确定了一组最初的评估方法以及它们在不同论文中的应用.基于这个,其他四个作者对整个样本进行了集中编码[14].我们继续将编码应用到样本的其余部分,反复的优化和访问编码模式.在对样本中所有的论文编码后,我们创建了分类来获得toolkit研究人员可以使用的总体评估策略,从而得出了四种评价策略,即(1)示例,(2)使用,(3)技术评估,和(4)启发式评估.表1总结了分析结果.

在下面的章节里,我们逐一介绍四种评估类型.对于每种类型,我们将讨论它们的价值,具体的评估技术,挑战和机遇,以便根据我们的经验,挑战以及我们对数据的见解,进一步加强评估.

Type 1: Demonstration

Douglas Engelbart提出的现在著名的"mother of all demos"确立了如何演示新的技术可以有效的交流,证明以及简单的展示新的想法和概念.一个想法向临近问题空间的可转移性往往通过演示应用实例来说明[78].在我们的例子中,68篇中有65篇演示了toolkit可以做什么,要么将演示作为唯一评估方法(19/68),或者与其他方法组合(46/68).演示展示了toolkie可能支持什么,以及用户如何使用它.从展示新概念[29,85],到重点案例研究[4,90]到系统设计空间探索[40,50,59].

Why use demonstrations?

演示的目的是通过示例和场景来阐明toolkits的能力是如何支持声明的应用.演示是一种存在性证明,表明使用和组合toolkit的组件到展示toolkit的用途和设计原则的示例中是可行的.这些例子可以解释toolkit的不同方面,比如使用基础构件,演示工作流或者讨论包含的工具.由于toolkit是一种简化新交互系统创建的"语言"[27],演示描述并展示了toolkits如何为创作提供最小阻力路径.

在其最近本的形式中,演示包含示例或案例研究,通过展示一系列不同的应用程序来探索toolkit的表现力.更系统的方法包含了toolkit支持的阈值,天花板(ceiling)或设计空间的探索.阈值是用户最低能够使用toolkit的能力,ceiling指使用toolkit可以达到的上限[68].虽然演示可能不会展示ceiling完整的"高度",但它们是toolkit可实现复杂性和潜在解决方案空间的一个指标.toolkit的原则和目标也同意通过设计空间探索来演示,该探索列举了设计的可能性[101],并从该控件的不同点给出了示例.

Evaluation techniques as used in demonstrations

我们从样本中观察出了所种演示toolkit的技术.这些技术不是相互排斥的,可以通过不同方式组合起来.

单独的例子
1.新颖的示例. toolkit的演示可以通过展示新颖示例,系统或交互技术的实现来完成.The Context Toolkit[85]是一个说明如何用实例应用来演示上下文感知(context-awareness)这一基本概念的经典例子[91].一个更近的例子是WorldKit[108],它展示了在四种不同环境下日常表面(surface)基于投影的触摸界面.同样的在DiamondSpin[92]中,作者通过展示五种不同的桌面设计来探索他们的多指触控桌面toolkit的能力.Peripheral展示toolkit[63]通过三个应用来演示toolkit可以支持新的外围设备显示.最后的例子是Sauron[87],它描述了三个演示toolkit提供的一系列交互组件的原型.对于这些示例来说,重要的是它们详细说明了特性,设计原则和构件是如何让应用新颖的.

2.复制的示例. Toolkits通常有助于编写之前被认为难以构建的系统.重现先前的应用程序,系统或交互技术,展示了toolkit如何支持和将先前想法封装到更广阔的解决空间中.例如,Prefuse[38]声明他们"重现了已有的可视化和精致新颖的设计来测试toolkit的表现力,有效性和可拓展性.在d.tools[37], 作者重建了一个经典iPod界面,同时TouchID toolkit[67]在双手交互中重建了来自于其他资源的先前工作(比如.Rock and Rails[108]).类似的,SwingStates[2]和Prefab[20]通过重建研究文献(比如.Bubble Cursor[34],Cross Y[1])的交互技术来模拟toolkit的表现力和能力.这些示例演示了toolkit如何减少重建应用程序的复杂性,工作量和开发时间.此外,复制可以演示toolkit如何在各种例子中通用.

集合
3.案例研究(case study) 由于toolkits通常支持复杂的应用程序,因此案例研究(通常是并发的研究项目)可以帮助更深的探索和详述(elaborate,也有精心制作的意思)toolkit.68篇中有5篇包含案例研究,以展示他们的toolkit可以做什么.iStuff toolkits提供了使用该toolkit的其他研究项目的案例研究.同样的,SoD toolkit描述了它在复杂案例研究中的应用:一个油气勘探应用和一个应急响应系统.Prefuse[38]报告了Vizster的设计,一种用于社交媒体数据的定制可视化工具.尽管案例研究比示例少见,它们令人信服的演示了toolki在复杂场景而不是小型示例程序中的应用.

4.设计空间的探索 设计空间的探索通过将其融入更广阔的研究主题来展示toolkit所支持的广度.设计空间通常由具有示例相对的属性(范畴或范围变量.categorical or spectrum variables)[106]的维度组成.一个toolkit作者可以创建示例集合,其中,每个示例可以检验设计空间的不同方面.举个例子,WatchConnect[43]描述了一个toolkit如何支持手表原型和第二个屏幕之间交互的设计空间.通过提供了5个包含复制和新颖的技术,作者证实了智能手表和第二屏幕的设计空间.Proximity toolkit类似描述了空间距离(proxemic)交互(比如,距离,方向,定位)的设计维度,并通过示例演示了tookit如何支持新的可感知空间距离的应用.Pineal[54]结合新颖的和复制的例子,探索了使用和重新调整移动传感器的不同方法以及用于创作智能对象的结果.最后,DART[61]是一个支持通过一系列’行为’和示例来探索设计空间的toolkit的示例.因此设计空间探索是一个尝试勘察潜在设计边界的系统化方法.尽管探索完整的设计空间通常是不可能的,示例展示了toolkit支持的设计广度.

超越描述
5.如何描述场景 Toolkit论文可以逐步演示用户如何创建特定应用.场景将任务分解为演示工作流的各个步骤,并展示每个步骤的结果.我们发现3种方法来描述场景,一种方法是用一个章节来描述如何创作一个例子(比如.RetroFab[87],Pineal[54]).第二种是,可以在整篇论文中使用一个场景来展示示例的不同部分是如何组合在一起的(比如.Proximity toolkit[64]).如同VoodooSketch[12]和Circuitstack[104]中的演示场景(demo scenarios)是解释用户如何体验toolkit最小阻力路径的常用方法.第三种是,作者可能附上代码.比如,Prefuse[38]和Weave[17]使用代码片段来解释如何在代码中直接支持某些设计原则或构件.

Challenge

使用示例来’评估’一个toolkit带来了多个挑战.第一个是它的理论基础:尽管基于toolkit新颖的示例搭建说明了toolkit的表现力.有时谁会来以及为什么会来使用这种应用这种问题不是很清楚.第二,虽然创建演示可以描述’假定’场景,但演示本身可能不会展示toolkit确实可以由toolkit的作者之外的人员使用.如此缺乏额外验证可能会造成由于论文中说法而引发的问题.第三,示例应用程序旨在实现当前潜在未来;然而,目标受众可能还不存在,或只是不清楚.对于目标受众的推测可能会造成出现弹性用户的危险,即目标用户的定义为迎合实现决策和toolkit设计而被拉伸.最后,许多toolkit系统(比如[64,88,112])基于特定的或特制的硬件.在这种条件下,作者可能会疏远潜在用户,因为一些最终用户可能无法重现这些复杂设置.

Reflection and Opportunities

为toolkit设计和示例提供理论基础. 在每一项技术中都存在着指导技术设计的假设,原则和经验.在设计toolkit时,许多假设可能会被认为是任意设定的.然而,toolkit作者经常依靠他们的经验,即使他们没有明确的提及.对于挑战的理解也许可以从早期的工具或toolkit的研究或经验中获得.讨论这些理解有助于解释做出不同决定的原因.Nebeling的XD toolkit集[74,75,76]就是一个很有说服力的例子.他们构造了多个toolkits来结构化和系统化的探索跨设备计算的庞大设计空间.他们显然是通过早期设计toolkits和系统的经验来推动每个toolkit的设计和开发.更广泛地说,通过设计的研究[39]有助于探索想法的具体实现,

第一手经验 . Toolkit作者通常有创建toolkit可以支持的应用,因此真正熟悉开发挑战和需要简化的步骤.这种经验导致自传体设计[78]为toolkit设计过程提供信息.在Phidgets[32],作者讨论了他们在编写基于硬件的应用时遇到的挫折,这为他们的设计和实现提供了依据.一个toolkit也可以利用构建类似toolkit的经验.D3[14]的设计演变于作者在早期创作可视化toolkits[例如,Prefuse[38],ProtoVis[13])的经验.

先前工作. 以前的研究中发现的挑战可以推进toolkit设计.比如,Context Toolkit[91]描述了在创作基于先前工作的上下文感知应用的挑战.(比如.多个分布式资源的新型感知)

形成性研究(Formative studies). 作者可以通用形成性研究以了解他们的目标受众.比如,在d.tools[37]中,作者在产品设计公司进行了采访,理解当前的实践可以帮助解决当前toolkit设计方面的挑战.

Type2:Usage

虽然演示回答了"toolkit可以构建什么"的问题,但评估使用可以帮助验证在某种情况下"谁可以使用toolkit".比如,哪些任务或活动可以由一个目标用户群体执行,而哪些依然有困难.为了评估用户组是否以及如何确实使用工具,调查用户如何使用工具是很重要的.我们的样本体现了超过半数的论文(35/68)包含了使用研究(usage study).其中只有一篇论文仅仅用使用研究作为唯一评估方法[42].使用研究通常结合演示(33/68)或技术评估(9/68).

Why Evaluate Usage?

使用评估的定义特性是使用toolkit的外部用户的参与.需要使用评估都是通过传统的用户研究[24,53,81],并且可以帮助验证toolkit是(1)概念清晰,(2)易于使用,或者(3)对受众有价值.常用的评判标准是用户意见,偏好,完成时间,步骤数(比如,代码行数),或错误数.此外,考虑到toolkit经常提出新的工作流,或者支持创建新类型的产品,了解它是否对目标用户有用是很重要的.在寻找效用的过程中,研究者探究受众的兴趣或效果.评估效用的一种方法是查看toolkit的输出.这包括调差用户使用toolkit编写的产品.最后,一个用法评估可能需要了解toolkit的使用:用户如何使用toolkit,如何随时间推移而使用,以及开发了什么样的工作流.这些过程以及最终结果可能指向阻力最小路径,有些可能与toolkit作者的意图不同.

Evaluation Techniques as Used in Usage Studies

考虑到外部人员参与使用评估.toolkit作者可以对用户进行各种评估,每种评估提供了不同的视角.我们的数据揭示了5种构建使用研究的方法和2种为了获得用户反馈而附加的补充技术.前四种技术指的是受控的实验室实验,其中参与者被赋予一致的任务从而得到准确的测量结果,比如完成时间.第五种更符合’野外’研究,可以提供更多的现实性[69,89].最后两个技术是用于获得用户反馈的补充技术.

构建使用研究的方法
1.使用研究. 当toolkit声称它们促进了一个过程,作者可以选择进行可用性研究.这有助于通过衡量参与者的表现(比如时间,准确性)和进一步定性反馈来确定toolkit的问题.参与者通常被赋予探索toolkit各个方面的编程任务.这些编程任务往往是封闭式的,尽管有些任务可能包含了少量的开放性(例如[36]).为了提高控制力,有些任务可能包含预先编写的框架代码(例如[74]).可用性研究可以检验toolkit的多个方面.例如,Papier-Mâché[52]展示了toolkit的API可用性的评估,这表明了软件组件的命名和toolkit缺失文档的方面存在不一致性.Hartmann创造了"初用研究(first-use study)"一词,其中参与者首次接触toolkit并分配不同的任务.在d.tools[37]中.研究的目的是确定系统的阈值[73],而在Exemplar[36[中,重点是确定工具的成功和不足.Exemplar[36[的研究将多个封闭式任务和一个更加开放式任务相结合.一些论文报告修改toolkit来解决在可用性研究中发现的问题[52,60],其中Greenberg和Buxton建议这应该成为可用性研究的首要目的[31].

2.A/B比较. 一种表明对已有工作的改进的方法是将新toolkit与基线及逆行比较.基线包括toolkit或者使用不同toolkit的工作.在MAUI[40]中,作者比较了不同的平台来衡量他们定义的工作量:类的数量,总代码行数,为反馈编写的行数以及开发时间.通过与GroupKit(一个之前也支持一个类似任务的toolkit[90])和Java(没有toolkit),作者可以展示对于目前技术水平的改进程度.A/B比较可以测试toolkit中的变化.Lin和Landay[59]将他们的原型工具与没有关键特性(模式和层)的工具进行了比较,以确定改进和偏好.最后,Paperbox[107]和XDStudio[75]都比较了它们toolkit的不同配置.

3.走查演示(Walkthrough Demonstration). 一个走查演示由将toolkit展示给一个潜在用户和获取他们的总体反应组成.不同于认知走查[85],走查演示并不是让用户直接使用toolkit来发现可用性问题.在走查演示中,实验人员有完全控制权并给参与者解释工作流以及示例甚至局限.当toolkit创造者想获得toolkit使用反馈时特别合适,因为它将焦点从toolkit的使用上移开(正如人们在可用性研究中可能发现的那样),并将其移向拥有toolkit带来的价值.虽然走查技术没有被广泛的探索,RetroFab[87[是一个例子.这种技术对于获得想法的反馈而不是特定toolkit实现的反馈很有效.它也可以为那些那没准备好进行可用性测试或部署的toolkit提供服务.

4.观察. 直接观察有助于说明用户如何使用toolkit解决从需要特定解决方案解决给定问题的封闭任务,到参与者指定问题并使用toolkit创建自己解决方案的开放任务.虽然我们分析过的论文很少有对参与者的流程或工作流进行深入讨论,但它们确实提供了toolkie的使用示例.HapticTouch[55]测试了参与者将在不同抽象层次提供的触觉概念转化为交互式应用程序2的能力:它的作者评估了toolkit提供的最小阻力路径来解决开放式和封闭式任务.我们的分析还发现观察性研究在多个参与者参与的短期[84]和长期[51,103]工作环境中被使用.例如,Pfeiffer[84]要求参与者集思广益,使用toolkit创建绿野仙踪原型.他们的视频分析讨论了创建的应用程序,以及关于他们的创作是如何完成的深入细节.在C4[51]中,参与者参加了为期3周的研讨会,其中一些人将在接下来的4周内参与艺术家驻留项目:观察告诉它的创造者设计决策是如何在实现中起作用的.

5.回家研究. 一些外部有效性[69]可以通过在实验室外进行实验.虽然toolkit在它受到广泛接受之前很难被部署,但研究人员可以将他们的toolkit提供给作为’早期采用者’的参与者.参与者获得toolkit(以及所有必要的组件和文档),在给定的时间(例如一周)来创建他们喜欢的任意应用.Phidgets[32], jQMultiTouch[76]以及Proximity Toolkit[64]都是典型的例子.在高级HCI课程中,学生可以访问toolkit和必要的硬件组件来创建有趣的示例.他们都展示了学生如何轻易的使用所特出的结构,他们将终点放在了作业的设计界面而不是低级编码.

获取用户反馈
6.李克特量表问卷. 李克特量表提供了一个与问题相关的非参数值.这些问题可以通过非参数测试或检验中间值来分析.在toolkit研究中,虽然李克特量表通常作为论点的验证(比如易用性),但它也可以将结果形式化来证明假设.例如,在Exemplar[36],作者不确定该系统是否能同时授权给专家和非专家,因为两者之间的表现可能有很大的不同.通过使用李克特量表问卷,参与者的答复证实了专家和非专家都有掌控感,从而验证了他们的假说.其他例子比如Damask[59], d.tools[37], Paperbox[107] 以及 Panelrama[114]使用李克特量表来量化用户在他们系统上的反馈.这些反馈通常是对其他可用性结果的补充.

7.开放性访谈. 在我们的样本中,12篇论文向参与者询问了在执行任务时的体验或挑战,这使作者对toolkit的过程,优点和不足有了新的了解[38,42,114].访谈问题可以从固定的问题开始但是时开放式的.因为它们允许在机会出现时进行进一步调查,例如寻求有趣的和/或不明确的回答.引用参与者的话会给研究带来活力,增添力量[17,60,95].访谈也可以揭示用户如何看待toolkit的特性,并可以带入到其他使用数据中.

Challenges

通过可用性测试来评估toolkit的实现可能会分散对概念性想法和toolkit带来的机会的关注.Olsen[82]警告不要陷入"可用性陷阱",因为可用性评估的3个基本假设(逐步使用,标准化任务以及问题可拓展性)很少应用到系统研究中.此外,HCI研究toolkit仍然是个原型.对于小团队来说,创建一个有商业质量(fatal flaw fallacy[82])的toolkit时困难的.测量可用性的受控实验的范围是有限的,并且只能评估toolkit所能完成任务的一小部分,使得很难概括使用结果.此外,选定的试验任务可能有利于toolkit能完成的元素.在实现对任务的控制时,研究人员可以对这些任务进行优化,或者只创建可用性测试可以测量的内容.
虽然对使用toolkit的人员进行观察可以提供有关使用的信息,但他们可能无法评估toolkit在现实世界中的表现.McGrath[69]将此视为现实感,精确性和控制之间的权衡.甚至在"回家"研究中,现实感也会受到损害:参与者可以得到所有必要的组件,指示,资源的访问权(例如文档,接触toolkit创建者).这就产生了一个现实世界中不一定存在的理想化场景[56].此外,很难为使用评估确定合适的参与者,特别是当toolkit提出解决问题的新方法时.特定的目标受众可能还不存在[77].考虑到学术背景,通常最容易找到学生群体.学生(例如计算机科学专业的学生)经常被用作目标受众(比如,开发人员)的替身,假设如果学生能够使用toolkit,专业人士也可以使用.然而结果并不总是这样.Toolkits通常需要大量使用才能变得熟悉.因此,过早的评估可能令toolkit进行不公平的比较

Reflection and Opportunities

引入实用性. 可用性评估的一个核心挑战是关注toolkit的可用性与实用性[31]:虽然toolkit可能是可用的,但不一定实用.走查和访谈可以在这里有所帮助,可以通过提出关于实用性的问题,并深入探讨答案.

谨慎的选择任务和衡量标准. 虽然更多的控制,更多的措施和更可量化的结果似乎提供了严谨,但我们认为,只有在使用真正有代表性的任务和适当的措施时,严谨才有价值.严谨应该来源于方法,技术,和执行技术方法的仔细选择.文献应该清楚的说明为什么选择的任务和衡量标准支持论文中提出的主张.

了解受众选择的结果. toolkit作者应该批判性的反映和理解他们选择研究对象的含义.正如前面提到的,受众可能是一个近似或起点,但作者需要阐明这些意义和局限性

Type 3: Technical performance

演示和使用研究可以评估toolkit可以做什么以及谁可能会使用toolkit,同时研究者也可以评估toolkit的技术性能来了解它工作的好坏.1/3的论文(18/68)包含了技术性能量度研究.技术性能量度是对演示和使用评估的补充,因为它们表达了关于toolkit技术能力的附加信息.

Why analyze the technical performance?

研究技术性能量度的目的是对toolkit或其组件进行基准测试,量化或分析来展示和证明其性能.技术性能亮度可以通过效率(比如,算法速度,网络协议的吞吐量),精度(例如,算法的准确性,容错性),或者与先前技术的比较来衡量.总的来说,这样做的目的是测量某种形式的系统性能.这些测量表明了系统是否符合基本使用标准(阈值),或者是否有超越最先进水平的改进.技术基准测试可以扩大toolkit的边界,以显示当它不再按照预期工作时.作者有时也会通过软件工程测试(例如,代码行数,类数)来表明对已有实践的改进.

Techniques as used in technical performance

软件工程社区有充足的工具集来评估系统性能[9].我们的数据集表明了toolkit作者们检查了各种各样的基准测试(例如,网站加载时间[14],空间分辨率[33],帧率[28,51],GPU使用[51],内存申请[13,51],加载时间[13],资源代码行数[2,91],二进制文件大小[2]).性能度量应该与论文中的观点一致,以及为了使toolkit能够运行和超出最先进工作而必须满足的需求.

1.以阈值为基准. 对于特定类型的应用,系统和算法,这里有已知的测试过的或需要的阈值作为基准,来检验一个系统是否符合一个公认的使用标准(比如,准确度,延迟).比如,实时追踪系统[79]经常使用30fps作为基线…KinectArms[28]和EagleSense[112]都以30fps作为基准推出新的追踪系统.阈值可以根据经验,技术或使用工作的经验得出.

2.以最高水平为基准. 标杆分析(benchmarking)通常会寻找对最高水平解决方案的改进.这种比较方法通常类似于HCI中的算法贡献(比如,[110]),其中一个toolkit的功能与已知的基线或者用于此目的的最佳算法进行比较.例如,在OpenCapSense[33],作者与之前的CapToolkit[109]比较了toolkit的电容传感性能.尽管不是一个toolkit(因此不是我们数据集的一部分),$1 GEsture Recognizer[110]是一个针对最新技术进行基准测试的优秀例子:基准测试表明,它相当接近最先进的水平,但是实现起来要简单得多(大约100行代码).D3[14]将页面加载时间与以前的toolkit和Adobe Flash进行了比较.考虑到他们的用例,页面加载时间被认为很重要:toolkit\在网页上查看toolkit创建的可视化效果.

Challenges

技术基准通常作为演示或使用研究的补充.单独测量技术基准可能会突出使用toolkit一些与人相关的方面(例如,帧率,延迟),但不能解释使用toolkit的情况.例如,即使需要几行代码,具有代表性的示例依然很难编程.类似的,一篇论可能并不总能(明确地)表明基准的重要中(比如,[112]中的30fps),另一个挑战时依赖于与已有基线比较的基准测试.如果性能归还尚未发布,作者必须与当前最先进工作进行比较.考虑到HCI toolkit的原型性质快速发展的技术目标[73],许多已有的基线可能已经被弃用或者作者进行大量的重现.或者,如果技术挑战在之前没有被解决,基线可能不存在[82].

Reflection and Opportunities

充分了解和陈述技术局限. HCI toolkit研究者通常与商业toolkit开发者有截然不同的目标.例如,研究者可能想展示交互概念如何封装到一个易于编程的toolkit(比如,它的api)里,在这种情况下,基础设施(可能相当有限)只能作为概念证明.显著的局限应该被陈述并结合全文解释问什么它们不重要.

风险假设检验. Toolkit作者应该开放性的讨论测试背后的根本原理以及测试是否是一种压力测试.类似于一些Greenberg和Buxton的论点[31],也许最好的办法是积极尝试突破toolkit所提出的技术主张(比如,能够实时准确跟踪多达4人[111])来真正理解toolkit的技术边界.一种测试这些边界的方法是针对选定的度量对系统可拓展性进行压力测试.

开源和开放访问. 作为toolkit研究者,我们可以通过开源来促进比较和复制来帮助未来的研究者(例如[14,64,95]).理想情况下,这不仅仅针对学术文献或toolkit的源代码和文献,还包括基准测试数据,以便其他人可以运行测试(比如.在不同计算机或作为未来工作的基线).

讨论隐性基线. 虽然一个toolkit论文可能假设假设标准度量来确定系统是否工作(比如,24fps,或者完成一项任务的几行代码),但它可能有助于说明为什么这个度量是相关的.因此,不是很熟悉的读者可以更好的理解性能影响.

Type 4:Heuristics

HCI中的启发式方法通常与Nielsen等人(例如[72,81])的折现法相似来非正式地评估界面可用性.考虑到toolkit评估的挑战,toolkit研究者已经设计出了以toolkit为中心的启发式方法(指导方针)来评估toolkit的最终结果[10,82].然后toolkit被这些启发式方法所检查,而这些启发方法反过来又有助于说明toolkit的有点,缺点和潜在价值.这些启发式方法是从久经考验被认可的toolkit设计方法中提取出来的,并已经被他人使用过(比如.Blackwell和Greens的启发式方法[10]在[13,36]中被使用,Olsen的启发式方法[82]被[43,58,70,71,74,96]所应用).在我们的样本中,启发式方法总是作为其他方法的补充.

Why use heuristics

启发式方法被用作一种折现法,它通常不需要参与者来收集见解,然而依然暴露出实用性的方面.Olsen关于表达杠杆和表达匹配(expressive leverage and expressive match)[82]的观点与Greenberg认为toolkit是一种促进创造的语言的观点[73]或者Myers认为系统的成功在于在需要的地方提供帮助,并创造出最小阻力路劲的观点[73]相一致.启发式方法是基于尝试过的成功[72]或理论(比如,认知维度[8]).
Blackwell和Green的符号认知维度(CDN)[8]最初最为一系列论点,设计者也可以使用这些论点作为启发式方法来检验系统可用性.他们最初的目标是为专家提供一个词汇表以便在设计时进行早期评判,并在以后阐明决策.作者将它描述为多个资源的综合,其中每个资源可以部分地处理界面设计过程中的元素.CDN也包括了一种问卷调查方法[11]来组织用户反馈会议.
Olsen的启发式方法[82]旨在将toolkit评估的重点重新移至他所认为的UI系统研究的价值上来,这与我们前面提到的HCI研究人员为什么构建toolkit的原因是已知的.Olsen提供了属于和方法来办支持toolkit论文中提出的常见主张.有趣的是,Olsen指出,给定一组主张,可以演示toolkit是如何支持它们.这可能解释为什么我们的数据显示了类型4(评估)和类型1(演示)的普遍组合使用.
遵循一个全面的启发式方法列表,可以帮助确定toolkit没有解决的领域.一些启发式方法可能更关键(比如.之前未解决的问题[82]).反之亦然,一些可能与提出的toolkit(比如,第二级符号[10])不相关.启发式方法可以而且应该在释放的时候被省略[72].

Evaluation techniques for heuristics

我们确定了3种进行启发式评估的方法:检查表(checklist),讨论和作为使用研究的基础

1.检查表. 检查表方法包括选择一种启发式评估方法,并一次进行一个单独的启发式方法.通过这样做,作者可以反思toolkit是否适合启发式方法以及符合程度.例如,Hartmann等人[36]采用Blackwell和Green的CDN方法进行了问卷调查[11].在评估每一项时,他们发现系统的需要局限是由于无法同时显示许多传感器的可视化.类似的,Meskens等人[70]采用了Olsen的启发式方法来确定界面中哪些元素是缺失的(比如,泛化和重用的能力).
2.讨论. 与检查表方法相比,Olsen的启发式方法[82]也被用作toolkit论文中的讨论中的反思点.这些反思让作者更好的理解局限以及在toolkit种是否还有未被解决的问题.Gummy[71]和WatckConnect[43]都是这种方法的例子,其中作者在与最好工作进行比较的同时反思了缺点(以及解决他们的方法).
3.基于启发式的使用研究. 启发式方法可以帮助决定什么对评估是有用的.XDKinect[74]根据Olsen的一些指导方针[82],制定了他们的使用研究,例如降低溶液粘度以及去除组合.

Challenges

启发式评估的一个危险是陷入自证预言(self-fulfilling prophecies),也就是作者拓展了启发式方法的定义来证明他们的主张是正确的.或者,作者可能会选择只关注(1)他们的toolkit解决的启发式问题,或(2)toolkit如何不考虑消极方面或妥协的解决这些问题(比如.以牺牲expressive match为代价增加灵活性).有些时候启发式方法与特定的toolkit不相关.举个例子,CDN[10]包含了一系列应用,其中一些启发式方法只适用于一组应用(比如.可视化编程环境).在没有明确理由的情况下省略启发式方法可能会让读者认为作者是在挑拣启发式方法.启发式评估通常由作者进行,他们可能会有潜在的偏见.尽管HCI中的启发式评估表明外部评估人员具有附加价值[72,81],但鉴于toolkit的复杂性,这一点很困难.所有北条i差的论文都没有使用外部评估人员.

Reflection and opportunities

使用启发式方法作为设计指南. 启发式方法可以起到补充作用:它们可以为设计提供信息,也可以帮助评估设计.因此,toolkit作者可以从概念上考虑如何通过最佳实践在早期支持创造的各个方面(比如.API实践[99].举个例子,Intelligibility Toolkit[58]和HapticTouch[55]都讨论了启发了他们的一些设计目标的启发式方法.
使用启发式方法为嫌前面几项技术提供信息. 考虑到启发式方法提供的词汇表,作者可以考虑演示或使用研究如何从启发式方法本身产生的.举个例子.Olsen[82]建议实验性的评估表达匹配 的一种方法是执行"设计权限测试",其中参与者被要求被要求使用"良好表达匹配"(比如.颜色选取器)的常规设计和"糟糕表达匹配"(例如,十六进制颜色代码)的缺陷设计来弥补缺陷.
透明度. toolkit的作者可以通过阐明为什么要考虑或不考虑一种启发式方法来消除对于"挑拣启发式算法"和"剔除无关的启发式算法"的歧义.这将增加透明度,并可能暴露评估中的差距.

Discussion

我们的综合审查揭示了4种评估toolkits的策略:(1)演示(toolkit可以做什么),(2)使用(谁可以使用toolkit以及如何使用),(3)技术评估(toolkit的性能如何),以及(4)启发式方法(toolkit多大程度符合标准指南).我们现在提供了几种观点,这些观点来自于我们自己的toolkit构建经验,综合审查分析以及其他的toolkit研究人员

Rethinking Evaluation

我们认为与其思考某些方法是否优于其他方法,不如使用最贴切toolkit论文中的论点的方法以及评估方法可能产生的结果更为重要.实现这一点的一个方法可能是作者扪心自问:如果去除评估技术,对于论文的影响是什么?在回答这个问题时,作者可能会意识到核心方法以及哪些方法是次要的,甚至是不必要的.

Evaluation by demonstration?

在我们的回顾中,一个主要观察是,到目前为止,演示是表达toolkit功能性的最常用方式.演示的复杂性各不相同,从效地示例到复杂的交互技术和系统.19篇toolkit的论文使用演示作为表达或评估toolkit能力的唯一方法.新颖的和复制的例子都非常常见因为它们易于实现和简单的描述.然而,进一步分析表明,很少发现有通过与发表文献时间同时的案例研究或设计空间探索对toolkit的功能进行更系统的探索.此外,需要toolkit论文将示例与代码片段和操作方案结合起来,以帮助读者了解toolkit支持什么.尽管演示通常不被认为是一个正式的评估,它们通过"设计研究"[39]展示证据并能有效传达toolkit的原则,概念和基本思想.事实上,使用toolkit创建原型可能会导致toolkit本身的改进,正如SATIN中所做的[41].当联系到toolkit研究的五个目标时,演示为实现设计新toolkit的目标提供了最完整和最有说服力的证据.演示评估的广泛应用表明了这样良好探索过的示例可以衡量特定toolkit实现的基本概念和想法是否成功.

Usability studies (still) considered harmful some of the time

我们样本中半数toolkit论文构造了使用研究.这些论文包含了令人信服的例子,检验了用户如何使用toolkit,toolkit如何在现实环境中被使用,或者toolkit如何促进创造性和探索性.尽管使用研究在确定谁可以使用toolkit中起到了基础性的作用.我们的分析表明很多作者依然落入了"可用性陷阱"[82].尽管Greenberg和Buxton警告.如果没有应用到正确的问题,可用性研究可能是"有害的"[31],我们样本中许多论文用可用性研究来评估复杂toolkit.这样的研究可能采用人工任务,小样本量,以及缺乏代表性的用户群体来评估toolkit提供的一小部分路径.尽管仍然会产生结果,但这些结果仅限于特定的任务,并且很少拓展到整个toolkit的功能,开发路径,使用toolkit更加广泛的受众以及围绕toolkit学习和使用的环境.
重复先前的工作讨论,toolkit研究并不总是需要可用性研究[45,82],我们相信目前大多数toolkit作者所做的狭隘的可用性研究最多只能起到一个次要角色,来确立或评估toolkit及其基本思想的新颖性或中邀请.如果是狭隘的,他们至少应该与其他技术相结合:我们样本中除了一篇之外的所有论文也包含了演示或技术评估.即使这样,我们将认为这是一种弱混合方法的广泛应用,其中研究者可能在整个toolkit中做出广义的可用性声明(也许是没有依据的).粗心的可用性评估可能代价高昂,因为他们可能会评估错误的特性并导致错误的结论[92]可用性研究可以评估toolkit的一部分,单么它们必须小心的设计和构建.

Successful evaluation verses successful toolkit

在我们的数据集中,我们观察了解决HCI社区中不同子领域的一系列不同的toolkit,没有迹象表明toolkit的成功必然与评估的成功挂钩.一些toolkits以及在研究社区种取得了非凡的影响.比如,Context Toolkit已经在上下文感知领域内的研究产生了变革性的影响,从1326次引用可以看出.其他toolkits已经在研究领域之外取得了成功.例如,D3[14]已经被广泛的用于基于网页的交互式可视化.他们的论文已经说明了评估可能不能代表成功:“尽管我们可以量化性能,可访问性更加难以衡量.D3的设计的真正考验在于用户的接受程度”[14].成功也可能在于推动新研究方向.Proximity Toolkit[64]将人际距离交互概念应用到了具体的构件和技术中.许多人下载toolki为了研究或学习如何构建感知距离.

The need for HCI infrastructure research

本文已开始,我们就认为toolkit已经深刻地影响了人机交互研究,并且在未来还会继续这样.回到Engelbart[26],Sutherland[100[或Weiser[105]的开创性工作,我们观察到通过构建交互系统,架构和框架的发明如何促进他们探索全新的空间.从那时起,该凌虚的需要新兴领域(比如,物理计算,有形界面,增强现实,普适计算)中探索概念,技术和系统的技术实现的toolkit有了巨大增长,并展示了新的可能的未来.
HCI系统和toolkit研究促进了进一步研究和了解高级交互概念(比如,空间关系交互[64]).因此,toolkit具象化了这些概念性的想法,促进了进一步的对话和后续研究.例如,Context Toolkit[91]是一个成功的toolkit,它通过使开发人员快速原型化上下文感知应用来推动上下文感知计算[97]研究的发展.这个toolkit提供了基于组件的架构,将上下文结论从使用上下文信息的应用程序中分开,并允许开发人员用事件驱动的方式响应上下文变化.通过具象化这个想法(以及它们在软件层面的实现),Context Toolkit也引发了研究人员的批评,他们认为toolkit中封装的上下文的计算表示没有捕捉人们在现实世界中行为的复杂性.Greenberg[29]认为许多上下文环境是不稳定的,不可识别的或不可预测的,并主张上下文感知应用应该解释推断的上下文以及其如何相应(Bellotti和Edwards所说的"可理解性"[7]).有趣的是,这些讨论导致了在未来系统和toolkit中这些想法的发展和集成,比如Situations框架[19]和Intelligibility Toolkit[58].

Limitations

我们没有伪称我们对toolkit评估策略的概述已经完成.首先,为了确保我们的综合审查关注于与当前接受的标准相关的评估形式,我们将样本限制在目前发表过的toolkit论文中.因此,我们可能粗错以前toolkit研究中使用过的toolkit形态.第二,许多研究项目的多个贡献不是在一篇论文中获得的.我们的分析只包括单篇论文中描述.对于我们综合审查中的一些toolkits,在后来的文献中描述了附加的评估(比如.Prefab[21]).最后,这篇论文的所有作者都构建和设计过toolkis.虽然我们对toolkit评估策略的反思可能会因我们的第一手经验而得到增强,但也可能会带来偏差.

Conclusions

研究toolkit已经根本的影响和改变的交互技术构建的方法,并会一直持续下去.怕抛开toolkits带来的影响和成功,评估他们仍然是一个挑战.这篇论文是第一个尝试阐明使用什么评估方法,它们什么时候是适合的以及它们表现得如何.我们基于68篇toolkit论文获得了HCI工具包的4中评估类型以及相关技术.我们希望我们的分类和反思可以帮助加强toolkit研究的方法并推动人机交互研究得发展.数据和其他材料可以在这里获得:https://github.com/davidledo/toolkit-evaluation.

References

Georg Apitz and François Guimbretière. 2004. CrossY:
a crossing-based drawing application. In Proceedings
of the 17th annual ACM symposium on User interface
software and technology (UIST '04). ACM, New York,
NY, USA, 3-12.
http://dx.doi.org/10.1145/1029632.1029635
Caroline Appert and Michel Beaudouin-Lafon. 2006.
SwingStates: adding state machines to the swing
toolkit. In Proceedings of the 19th annual ACM symposium on User interface software and technology (UIST
'06). ACM, New York, NY, USA, 319-322.
https://doi.org/10.1145/1166253.1166302
Sriram Karthik Badam and Niklas Elmqvist. 2014. PolyChrome: A Cross-Device Framework for Collaborative Web Visualization. In Proceedings of the Ninth
ACM International Conference on Interactive Tabletops and Surfaces (ITS '14). ACM, New York, NY,
USA, 109-118.
http://dx.doi.org/10.1145/2669485.2669518
Rafael Ballagas, Meredith Ringel, Maureen Stone, and
Jan Borchers. 2003. iStuff: a physical user interface
toolkit for ubiquitous computing environments. In Proceedings of the SIGCHI Conference on Human Factors
in Computing Systems (CHI '03). ACM, New York,
NY, USA, 537-544.
http://dx.doi.org/10.1145/642611.642705
Till Ballendat, Nicolai Marquardt, and Saul Greenberg.
Proxemic interaction: designing for a proximity
and orientation-aware environment. In ACM International Conference on Interactive Tabletops and Surfaces (ITS '10). ACM, New York, NY, USA, 121-130.
https://doi.org/10.1145/1936652.1936676
Ben Bederson, Jesse Grosjean and Jon Meyer. 2004.
Toolkit design for interactive structured graphics. IEEE
Transactions on Software Engineering, 30(8). IEEE
535-546. 10.1109/TSE.2004.44
Victoria Bellotti and Keith Edwards. 2001. Intelligibility and accountability: human considerations in context-aware systems. Hum.-Comput. Interact. 16, 2 (December 2001), 193-212.
http://dx.doi.org/10.1207/S15327051HCI16234_05
Michael S. Bernstein, Mark S. Ackerman, Ed H. Chi,
and Robert C. Miller. 2011. The trouble with social
computing systems research. In CHI '11 Extended Abstracts on Human Factors in Computing Systems (CHI
EA '11). ACM, New York, NY, USA, 389-398.
https://doi.org/10.1145/1979742.1979618
Stephen M. Blackburn, Robin Garner, Chris Hoffmann,
Asjad M. Khang, Kathryn S. McKinley, Rotem
Bentzur, Amer Diwan, Daniel Feinberg, Daniel Frampton, Samuel Z. Guyer, Martin Hirzel, Antony Hosking,
Maria Jump, Han Lee, J. Eliot B. Moss, Aashish
Phansalkar, Darko Stefanović, Thomas VanDrunen,
Daniel von Dincklage, and Ben Wiedermann. 2006.
The DaCapo benchmarks: Java benchmarking development and analysis. In Proceedings of the 21st annual
ACM SIGPLAN conference on Object-oriented programming systems, languages, and applications (OOPSLA '06). ACM, New York, NY, USA,
169-190. DOI:
https://doi.org/10.1145/1167473.1167488
Alan Blackwell, Carol Britton, Blackwell, A. Cox,
Thomas Green, Corin Gurr, Gada Kadoda, M.S. Kutar
et al. 2001. Cognitive dimensions of notations: Design
tools for cognitive technology. In Cognitive technology: instruments of mind Springer, Berlin, Heidelberg.
325-341.
https://doi.org/10.1007/3-540-44617-6_31
Alan Blackwell and Thomas Green. 2000. A Cognitive
Dimensions questionnaire optimised for users. In proceedings of the twelfth annual meeting of the psychology of programming interest group. 137-152.
Florian Block, Michael Haller, Hans Gellersen, Carl
Gutwin, and Mark Billinghurst. 2008. VoodooSketch:
extending interactive surfaces with adaptable interface
palettes. In Proceedings of the 2nd international conference on Tangible and embedded interaction (TEI
'08). ACM, New York, NY, USA, 55-58.
http://dx.doi.org/10.1145/1347390.1347404
Michael Bostock and Jeffrey Heer. 2009. Protovis: A
Graphical Toolkit for Visualization. In IEEE Transactions on Visualization and Computer Graphics, vol. 15,
no. 6. IEEE. 1121-1128.
https://doi.org/10.1109/TVCG.2009.174
Michael Bostock, Vadim Ogievetsky and Jeffrey Heer.
D³ Data-Driven Documents. In IEEE Transactions on Visualization and Computer Graphics, vol. 17,
no. 12. IEEE. 2301-2309.
https://doi.org/10.1109/TVCG.2011.185
Jorge Cardoso and Rui José. 2012. PuReWidgets: a
programming toolkit for interactive public display applications. In Proceedings of the 4th ACM SIGCHI
symposium on Engineering interactive computing systems (EICS '12). ACM, New York, NY, USA, 51-60.
https://doi.org/10.1145/2305484.2305496
Kathy Charmaz. 2014. Constructing grounded theory.
Sage.
Pei-Yu (Peggy) Chi and Yang Li. 2015. Weave: Scripting Cross-Device Wearable Interaction. In Proceedings
of the 33rd Annual ACM Conference on Human Factors in Computing Systems (CHI '15). ACM, New
York, NY, USA, 3923-3932.
https://doi.org/10.1145/2702123.2702451
Alan Cooper. 2004. The inmates are running the asylum: Why high-tech products drive us crazy and how to
restore the sanity. Sams Indianapolis.
Anind K. Dey and Alan Newberger. 2009. Support for
context-aware intelligibility and control. In Proceedings of the SIGCHI Conference on Human Factors in
Computing Systems (CHI '09). ACM, New York, NY,
USA, 859-868.
https://doi.org/10.1145/1518701.1518832
Morgan Dixon and James Fogarty. 2010. Prefab: implementing advanced behaviors using pixel-based reverse engineering of interface structure. In Proceedings
of the SIGCHI Conference on Human Factors in Computing Systems (CHI '10). ACM, New York, NY, USA,
1525-1534. https://doi.org/10.1145/1753326.1753554
Morgan Dixon, Alexander Nied, and James Fogarty.
Prefab layers and prefab annotations: extensible
pixel-based interpretation of graphical interfaces.
In Proceedings of the 27th annual ACM symposium on
User interface software and technology (UIST '14).
ACM, New York, NY, USA, 221-230.
https://doi.org/10.1145/2642918.2647412
Pierre Dragicevic and Jean-Daniel Fekete. 2004. Support for input adaptability in the ICON toolkit. In Proceedings of the 6th international conference on Multimodal interfaces (ICMI '04). ACM, New York, NY,
USA, 212-219.
http://dx.doi.org/10.1145/1027933.1027969
Brian de Alwis, Carl Gutwin, and Saul Greenberg.
GT/SD: performance and simplicity in a groupware toolkit. In Proceedings of the 1st ACM SIGCHI
symposium on Engineering interactive computing systems (EICS '09). ACM, New York, NY, USA, 265-
10.1145/1570433.1570483
http://doi.acm.org/10.1145/1570433.1570483
Joseph Dumas and Janice Redish. 1999. A practical
guide to usability testing. Intellect books.
W. Keith Edwards, Mark W. Newman, and Erika
Shehan Poole. 2010. The infrastructure problem in
HCI. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI '10). ACM,
New York, NY, USA, 423-432.
https://doi.org/10.1145/1753326.1753390
Douglas C Engelbart (1968). The mother of all demos.
Presented at ACM/IEEE - Computer Society’s Fall
Joint Computer Conference. San Francisco
James Fogarty. Code and Contribution in Interactive
Systems Research. In workshop on HCI.Tools at
CHI’2017.
Aaron M. Genest, Carl Gutwin, Anthony Tang, Michael Kalyn, and Zenja Ivkovic. 2013. KinectArms: a
toolkit for capturing and displaying arm embodiments
in distributed tabletop groupware. In Proceedings of
the 2013 conference on Computer supported cooperative work (CSCW '13). ACM, New York, NY, USA,
157-166. https://doi.org/10.1145/2441776.2441796
Saul Greenberg. 2001. Context as a dynamic construct. Hum.-Comput. Interact. 16, 2 (December 2001),
257-268.
http://dx.doi.org/10.1207/S15327051HCI16234_09
Saul Greenberg. 2007. Toolkits and interface creativity. Multimedia Tools and Applications, 32(2),
Springer, 139-159.
https://doi.org/10.1007/s11042-006-0062-y
Saul Greenberg and Bill Buxton. 2008. Usability evaluation considered harmful (some of the time). In Proceedings of the SIGCHI Conference on Human Factors
in Computing Systems (CHI '08). ACM, New York,
NY, USA, 111-120.
https://doi.org/10.1145/1357054.1357074
Saul Greenberg and Chester Fitchett. 2001. Phidgets:
easy development of physical interfaces through physical widgets. In Proceedings of the 14th annual ACM
symposium on User interface software and technology (UIST '01). ACM, New York, NY, USA, 209-218.
http://dx.doi.org/10.1145/502348.502388
Tobias Grosse-Puppendahl, Yannick Berghoefer, Andreas Braun, Raphael Wimmer and Arjan Kuijper.
OpenCapSense: A rapid prototyping toolkit for
pervasive interaction using capacitive sensing. In Proc.
IEEE International Conference on Pervasive Computing and Communications (PerCom). IEEE. San Diego,
CA, USA, 152-159.
10.1109/PerCom.2013.6526726
Tovi Grossman and Ravin Balakrishnan. 2005. The
bubble cursor: enhancing target acquisition by dynamic
resizing of the cursor’s activation area. In Proceedings
of the SIGCHI Conference on Human Factors in Computing Systems (CHI '05). ACM, New York, NY, USA,
281-290. http://dx.doi.org/10.1145/1054972.1055012
Thomas E. Hansen, Juan Pablo Hourcade, Mathieu
Virbel, Sharath Patali, and Tiago Serra. 2009. PyMT: a
post-WIMP multi-touch user interface toolkit. In Proceedings of the ACM International Conference on Interactive Tabletops and Surfaces (ITS '09). ACM, New
York, NY, USA, 17-24.
https://doi.org/10.1145/1731903.1731907
Björn Hartmann, Leith Abdulla, Manas Mittal, and
Scott R. Klemmer. 2007. Authoring sensor-based interactions by demonstration with direct manipulation and
pattern recognition. In Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems (CHI '07). ACM, New York, NY, USA, 145-154.
https://doi.org/10.1145/1240624.1240646
Björn Hartmann, Scott R. Klemmer, Michael Bernstein, Leith Abdulla, Brandon Burr, Avi RobinsonMosher, and Jennifer Gee. 2006. Reflective physical
prototyping through integrated design, test, and analysis. In Proceedings of the 19th annual ACM symposium
on User interface software and technology (UIST '06).
ACM, New York, NY, USA, 299-308.
https://doi.org/10.1145/1166253.1166300
Jeffrey Heer, Stuart K. Card, and James A. Landay.
prefuse: a toolkit for interactive information visualization. In Proceedings of the SIGCHI Conference
on Human Factors in Computing Systems (CHI '05).
ACM, New York, NY, USA, 421-430.
http://dx.doi.org/10.1145/1054972.1055031
Alan R. Hevner, Salvatore T. March, Jinsoo Park, and
Sudha Ram. 2004. Design science in information systems research. MIS Q. 28, 1 (March 2004), 75-105.
Jason Hill and Carl Gutwin. 2004. The MAUI toolkit:
Groupware widgets for group awareness. Computing
Supported Cooperative Work, 13, Springer 539-571.
https://doi.org/10.1007/s10606-004-5063-7
Jason I. Hong and James A. Landay. 2000. SATIN: a
toolkit for informal ink-based applications. In Proceedings of the 13th annual ACM symposium on User interface software and technology (UIST '00). ACM, New
York, NY, USA, 63-72.
http://dx.doi.org/10.1145/354401.354412
Steven Houben, Connie Golsteijn, Sarah Gallacher,
Rose Johnson, Saskia Bakker, Nicolai Marquardt, Licia
Capra, and Yvonne Rogers. 2016. Physikit: Data Engagement Through Physical Ambient Visualizations in
the Home. In Proceedings of the 2016 CHI Conference
on Human Factors in Computing Systems (CHI '16).
ACM, New York, NY, USA, 1608-1619.
https://doi.org/10.1145/2858036.2858059
Steven Houben and Nicolai Marquardt. 2015. WatchConnect: A Toolkit for Prototyping Smartwatch-Centric Cross-Device Applications. In Proceedings of the
33rd Annual ACM Conference on Human Factors in
Computing Systems (CHI '15). ACM, New York, NY,
USA, 1247-1256.
https://doi.org/10.1145/2702123.2702215
Steven Houben, Nicolai Marquardt, Jo Vermeulen,
Clemens Klokmose, Johannes Schöning, Harald
Reiterer, and Christian Holz. 2017. Opportunities and
challenges for cross-device interactions in the wild. interactions 24, 5 (August 2017), 58-63.
https://doi.org/10.1145/3121348
Scott E. Hudson, and Jennifer Mankoff. 2014. Concepts, Values, and Methods for Technical Human–
Computer Interaction Research. In Ways of Knowing in
HCI, Springer New York, NY, USA, 69-93.
https://doi.org/10.1007/978-1-4939-0378-8_4
Scott E. Hudson, Jennifer Mankoff, and Ian Smith.
Extensible input handling in the subArctic
toolkit. In Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems (CHI '05).
ACM, New York, NY, USA, 381-390.
http://dx.doi.org/10.1145/1054972.1055025
Stéphane Huot, Cédric Dumas, Pierre Dragicevic, JeanDaniel Fekete, and Gérard Hégron. 2004. The MaggLite post-WIMP toolkit: draw it, connect it and run it.
In Proceedings of the 17th annual ACM symposium on
User interface software and technology (UIST '04).
ACM, New York, NY, USA, 257-266.
http://dx.doi.org/10.1145/1029632.1029677
Martin Kaltenbrunner and Ross Bencina. 2007. reacTIVision: a computer-vision framework for table-based
tangible interaction. In Proceedings of the 1st international conference on Tangible and embedded interaction (TEI '07). ACM, New York, NY, USA, 69-74.
http://dx.doi.org/10.1145/1226969.1226983
Jun Kato, Daisuke Sakamoto, and Takeo Igarashi.
Phybots: a toolkit for making robotic things.
In Proceedings of the Designing Interactive Systems
Conference (DIS '12). ACM, New York, NY, USA,
248-257. https://doi.org/10.1145/2317956.2317996
Bonifaz Kaufmann and Leah Buechley. 2010. Amarino: a toolkit for the rapid prototyping of mobile ubiquitous computing. In Proceedings of the 12th international conference on Human computer interaction with
mobile devices and services (MobileHCI '10). ACM,
New York, NY, USA, 291-298.
https://doi.org/10.1145/1851600.1851652
Travis Kirton, Sebastien Boring, Dominikus Baur,
Lindsay MacDonald, and Sheelagh Carpendale. 2013.
C4: a creative-coding API for media, interaction and
animation. In Proceedings of the 7th International
Conference on Tangible, Embedded and Embodied Interaction (TEI '13). ACM, New York, NY, USA, 279-
http://dx.doi.org/10.1145/2460625.2460672
Scott R. Klemmer, Jack Li, James Lin, and James A.
Landay. 2004. Papier-Mâché: toolkit support for tangible input. In Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems (CHI '04).
ACM, New York, NY, USA, 399-406.
http://dx.doi.org/10.1145/985692.985743
Jonathan Lazar, Jinjuan Heidi Feng, and Harry Hochheiser. 2017. Research methods in human-computer interaction. Morgan Kaufmann.
David Ledo, Fraser Anderson, Ryan Schmidt, Lora
Oehlberg, Saul Greenberg, and Tovi Grossman. 2017.
Pineal: Bringing Passive Objects to Life with Embedded Mobile Devices. In Proceedings of the 2017 CHI
Conference on Human Factors in Computing Systems (CHI '17). ACM, New York, NY, USA, 2583-
https://doi.org/10.1145/3025453.3025652
David Ledo, Miguel A. Nacenta, Nicolai Marquardt,
Sebastian Boring, and Saul Greenberg. 2012. The HapticTouch toolkit: enabling exploration of haptic interactions. In Proceedings of the Sixth International Conference on Tangible, Embedded and Embodied Interaction (TEI '12), Stephen N. Spencer (Ed.). ACM, New
York, NY, USA, 115-122.
https://doi.org/10.1145/2148131.2148157
David Ledo, Lora Oehlberg and Saul Greenberg. 2017.
The Toolkit-Audience Challenge. In Workshop on
HCI.Tools at CHI 2017.
Johnny C. Lee, Daniel Avrahami, Scott E. Hudson,
Jodi Forlizzi, Paul H. Dietz, and Darren Leigh. 2004.
The calder toolkit: wired and wireless components for
rapidly prototyping interactive devices. In Proceedings
of the 5th conference on Designing interactive systems:
processes, practices, methods, and techniques (DIS
'04). ACM, New York, NY, USA, 167-175.
http://dx.doi.org/10.1145/1013115.1013139
Brian Y. Lim and Anind K. Dey. 2010. Toolkit to support intelligibility in context-aware applications.
In Proceedings of the 12th ACM international conference on Ubiquitous computing (UbiComp '10). ACM,
New York, NY, USA, 13-22.
https://doi.org/10.1145/1864349.1864353
James Lin and James A. Landay. 2008. Employing patterns and layers for early-stage design and prototyping
of cross-device user interfaces. In Proceedings of the
SIGCHI Conference on Human Factors in Computing
Systems (CHI '08). ACM, New York, NY, USA, 1313-
https://doi.org/10.1145/1357054.1357260
James Lin, Mark W. Newman, Jason I. Hong, and
James A. Landay. 2000. DENIM: finding a tighter fit
between tools and practice for Web site design. In Proceedings of the SIGCHI conference on Human Factors
in Computing Systems (CHI '00). ACM, New York,
NY, USA, 510-517.
http://dx.doi.org/10.1145/332040.332486
Blair MacIntyre, Maribeth Gandy, Steven Dow, and
Jay David Bolter. 2004. DART: a toolkit for rapid design exploration of augmented reality experiences.
In Proceedings of the 17th annual ACM symposium on
User interface software and technology (UIST '04).
ACM, New York, NY, USA, 197-206.
http://dx.doi.org/10.1145/1029632.1029669
Jennifer Mankoff, Scott E. Hudson, and Gregory D.
Abowd. 2000. Providing integrated toolkit-level support for ambiguity in recognition-based interfaces.
In Proceedings of the SIGCHI conference on Human
Factors in Computing Systems (CHI '00). ACM, New
York, NY, USA, 368-375.
http://dx.doi.org/10.1145/332040.332459
Javier Marco, Eva Cerezo, and Sandra Baldassarri.
ToyVision: a toolkit for prototyping tabletop tangible games. In Proceedings of the 4th ACM SIGCHI
symposium on Engineering interactive computing systems (EICS '12). ACM, New York, NY, USA, 71-80.
https://doi.org/10.1145/2305484.2305498
Nicolai Marquardt, Robert Diaz-Marino, Sebastian
Boring, and Saul Greenberg. 2011. The proximity
toolkit: prototyping proxemic interactions in ubiquitous
computing ecologies. In Proceedings of the 24th annual ACM symposium on User interface software and
technology (UIST '11). ACM, New York, NY, USA,
315-326. https://doi.org/10.1145/2047196.2047238
Nicolai Marquardt and Saul Greenberg. 2007. Distributed physical interfaces with shared phidgets. In Proceedings of the 1st international conference on Tangible and embedded interaction (TEI '07). ACM, New
York, NY, USA, 13-20.
http://dx.doi.org/10.1145/1226969.1226973
Nicolai Marquardt, Steven Houben, Michel BeaudouinLafon, and Andrew D. Wilson. 2017. HCITools: Strategies and Best Practices for Designing, Evaluating and
Sharing Technical HCI Toolkits. In Proceedings of the
2017 CHI Conference Extended Abstracts on Human
Factors in Computing Systems (CHI EA '17). ACM,
New York, NY, USA, 624-627.
https://doi.org/10.1145/3027063.3027073
Nicolai Marquardt, Johannes Kiemer, David Ledo, Sebastian Boring, and Saul Greenberg. 2011. Designing
user-, hand-, and handpart-aware tabletop interactions
with the TouchID toolkit. In Proceedings of the ACM
International Conference on Interactive Tabletops and
Surfaces (ITS '11). ACM, New York, NY, USA, 21-30.
https://doi.org/10.1145/2076354.2076358
Tara Matthews, Anind K. Dey, Jennifer Mankoff, Scott
Carter, and Tye Rattenbury. 2004. A toolkit for managing user attention in peripheral displays. In Proceedings of the 17th annual ACM symposium on User interface software and technology (UIST '04). ACM, New
York, NY, USA, 247-256.
http://dx.doi.org/10.1145/1029632.1029676
Joseph McGrath. 1995. Methodology matters: Doing
research in the behavioral and social sciences. In Readings in Human-Computer Interaction: Toward the Year
2000 (2nd ed). 152-169.
Jan Meskens, Kris Luyten, and Karin Coninx. 2010. DMacs: building multi-device user interfaces by demonstrating, sharing and replaying design actions. In Proceedings of the 23nd annual ACM symposium on User
interface software and technology (UIST '10). ACM,
New York, NY, USA, 129-138.
https://doi.org/10.1145/1866029.1866051
Jan Meskens, Jo Vermeulen, Kris Luyten, and Karin
Coninx. 2008. Gummy for multi-platform user interface designs: shape me, multiply me, fix me, use me.
In Proceedings of the working conference on Advanced
visual interfaces (AVI '08). ACM, New York, NY,
USA, 233-240.
https://doi.org/10.1145/1385569.1385607
Rolf Molich and Jakob Nielsen. 1990. Improving a human-computer dialogue. Commun. ACM 33, 3 (March
1990), 338-348. 10.1145/77481.77486
http://doi.acm.org/10.1145/77481.77486
Brad Myers, Scott E. Hudson, and Randy Pausch.
Past, present, and future of user interface software tools. ACM Trans. Comput.-Hum. Interact. 7, 1
(March 2000), 3-28.
http://dx.doi.org/10.1145/344949.344959
Michael Nebeling, Elena Teunissen, Maria Husmann,
and Moira C. Norrie. 2014. XDKinect: development
framework for cross-device interaction using kinect.
In Proceedings of the 2014 ACM SIGCHI symposium
on Engineering interactive computing systems (EICS
'14). ACM, New York, NY, USA, 65-74.
http://dx.doi.org/10.1145/2607023.2607024
Michael Nebeling, Theano Mintsi, Maria Husmann,
and Moira Norrie. 2014. Interactive development of
cross-device user interfaces. In Proceedings of the
SIGCHI Conference on Human Factors in Computing
Systems (CHI '14). ACM, New York, NY, USA, 2793-
https://doi.org/10.1145/2556288.2556980
Michael Nebeling and Moira Norrie. 2012. jQMultiTouch: lightweight toolkit and development framework
for multi-touch/multi-device web interfaces. In Proceedings of the 4th ACM SIGCHI symposium on Engineering interactive computing systems (EICS '12).
ACM, New York, NY, USA, 61-70.
https://doi.org/10.1145/2305484.2305497
Michael Nebeling. Playing the Tricky Game of
Toolkits Research. In workshop on HCI.Tools at
CHI’2017.
Carman Neustaedter and Phoebe Sengers. 2012. Autobiographical design in HCI research: designing and
learning through use-it-yourself. In Proceedings of the
Designing Interactive Systems Conference (DIS '12).
ACM, New York, NY, USA, 514-523.
https://doi.org/10.1145/2317956.2318034
Richard A. Newcombe, Shahram Izadi, Otmar Hilliges,
David Molyneaux, David Kim, Andrew J. Davison,
Pushmeet Kohli, Jamie Shotton, Steve Hodges, and
Andrew Fitzgibbon. 2011. KinectFusion: Real-time
dense surface mapping and tracking. In Proceedings of
the 2011 10th IEEE International Symposium on Mixed
and Augmented Reality (ISMAR '11). IEEE Computer
Society, Washington, DC, USA, 127-136.
http://dx.doi.org/10.1109/ISMAR.2011.6092378
Mark W. Newman, Shahram Izadi, W. Keith Edwards,
Jana Z. Sedivy, and Trevor F. Smith. 2002. User interfaces when and where they are needed: an infrastructure for recombinant computing. In Proceedings of the
15th annual ACM symposium on User interface software and technology (UIST '02). ACM, New York,
NY, USA, 171-180. DOI:
https://doi.org/10.1145/571985.572009
Jakob Nielsen. 1994. Usability engineering. Elsevier.
Dan R. Olsen, Jr… 2007. Evaluating user interface systems research. In Proceedings of the 20th annual ACM
symposium on User interface software and technology (UIST '07). ACM, New York, NY, USA, 251-258.
https://doi.org/10.1145/1294211.1294256
Antti Oulasvirta and Kasper Hornbæk. 2016. HCI Research as Problem-Solving. In Proceedings of the 2016
CHI Conference on Human Factors in Computing Systems (CHI '16). ACM, New York, NY, USA, 4956-
https://doi.org/10.1145/2858036.2858283
Max Pfeiffer, Tim Duente, and Michael Rohs. 2016.
Let your body move: a prototyping toolkit for wearable
force feedback with electrical muscle stimulation.
In Proceedings of the 18th International Conference on
Human-Computer Interaction with Mobile Devices and
Services (MobileHCI '16). ACM, New York, NY,
USA, 418-427.
https://doi.org/10.1145/2935334.2935348
Peter G. Polson, Clayton Lewis, John Rieman, and
Cathleen Wharton. 1992. Cognitive walkthroughs: a
method for theory-based evaluation of user interfaces. Int. J. Man-Mach. Stud.36, 5 (May 1992), 741-
http://dx.doi.org/10.1016/0020-7373(92)90039-N
Jenny Preece and H. Dieter Rombach. 1994. A taxonomy for combining software engineering and humancomputer interaction measurement approaches: towards a common framework. Int. J. Hum.-Comput.
Stud. 41, 4 (October 1994), 553-583.
10.1006/ijhc.1994.1073
http://dx.doi.org/10.1006/ijhc.1994.1073
Raf Ramakers, Fraser Anderson, Tovi Grossman, and
George Fitzmaurice. 2016. RetroFab: A Design Tool
for Retrofitting Physical Interfaces using Actuators,
Sensors and 3D Printing. In Proceedings of the 2016
CHI Conference on Human Factors in Computing Systems (CHI '16). ACM, New York, NY, USA, 409-419.
https://doi.org/10.1145/2858036.2858485
Raf Ramakers, Kashyap Todi, and Kris Luyten. 2015.
PaperPulse: An Integrated Approach for Embedding
Electronics in Paper Designs. In Proceedings of the
33rd Annual ACM Conference on Human Factors in
Computing Systems (CHI '15). ACM, New York, NY,
USA, 2457-2466.
https://doi.org/10.1145/2702123.2702487
Yvonne Rogers, and Paul Marshall. (2017). Research
in the Wild. Synthesis Lectures on Human-Centered Informatics, 10(3).
Mark Roseman and Saul Greenberg. 1996. Building
real-time groupware with GroupKit, a groupware
toolkit. ACM Trans. Comput.-Hum. Interact. 3, 1
(March 1996), 66-106.
http://dx.doi.org/10.1145/226159.226162
Daniel Salber, Anind K. Dey, and Gregory D. Abowd.
The context toolkit: aiding the development of
context-enabled applications. In Proceedings of the
SIGCHI conference on Human Factors in Computing
Systems (CHI '99). ACM, New York, NY, USA, 434-
http://dx.doi.org/10.1145/302979.303126
Antti Salovaara, Antti Oulasvirta, and Giulio Jacucci.
Evaluation of Prototypes and the Problem of
Possible Futures. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (CHI
'17). ACM, New York, NY, USA, 2064-2077.
https://doi.org/10.1145/3025453.3025658
Valkyrie Savage, Colin Chang, and Björn Hartmann.
Sauron: embedded single-camera sensing of
printed physical user interfaces. In Proceedings of the
26th annual ACM symposium on User interface software and technology (UIST '13). ACM, New York,
NY, USA, 447-456.
http://dx.doi.org/10.1145/2501988.2501992
Valkyrie Savage, Sean Follmer, Jingyi Li, and Björn
Hartmann. 2015. Makers’ Marks: Physical Markup for
Designing and Fabricating Functional Objects. In Proceedings of the 28th Annual ACM Symposium on User
Interface Software & Technology (UIST '15). ACM,
New York, NY, USA, 103-108.
https://doi.org/10.1145/2807442.2807508
Valkyrie Savage, Xiaohan Zhang, and Björn Hartmann.
Midas: fabricating custom capacitive touch sensors to prototype interactive objects. In Proceedings of
the 25th annual ACM symposium on User interface
software and technology (UIST '12). ACM, New York,
NY, USA, 579-588.
https://doi.org/10.1145/2380116.2380189
Teddy Seyed, Alaa Azazi, Edwin Chan, Yuxi Wang,
and Frank Maurer. 2015. SoD-Toolkit: A Toolkit for
Interactively Prototyping and Developing Multi-Sensor, Multi-Device Environments. In Proceedings of the
2015 International Conference on Interactive Tabletops & Surfaces (ITS '15). ACM, New York, NY,
USA, 171-180.
https://doi.org/10.1145/2817721.2817750
B. Schilit, N. Adams, and R. Want. 1994. ContextAware Computing Applications. In Proceedings of the
1994 First Workshop on Mobile Computing Systems
and Applications (WMCSA '94). IEEE Computer Society, Washington, DC, USA, 85-90.
http://dx.doi.org/10.1109/WMCSA.1994.16
Chia Shen, Frédéric D. Vernier, Clifton Forlines, and
Meredith Ringel. 2004. DiamondSpin: an extensible
toolkit for around-the-table interaction. In Proceedings
of the SIGCHI Conference on Human Factors in Computing Systems (CHI '04). ACM, New York, NY, USA,
167-174. http://dx.doi.org/10.1145/985692.985714
Jeffrey Stylos and Brad A. Myers. 2008. The implications of method placement on API learnability. In Proceedings of the 16th ACM SIGSOFT International
Symposium on Foundations of software engineering (SIGSOFT '08/FSE-16). ACM, New York, NY,
USA, 105-112.
http://dx.doi.org/10.1145/1453101.1453117
100.Ivan Edward Sutherland. 1980. Sketchpad: A Man-Machine Graphical Communication System. Garland Publishing, Inc., New York, NY, USA.
101.Nicolas Villar, Kiel Mark Gilleade, Devina Ramdunyellis and Hans Gellersen. 2007. The VoodooIO
gaming kit: a real-time adaptable gaming controller. Comput. Entertain. 5, 3, pages.
http://dx.doi.org/10.1145/1316511.1316518
102.Nicolas Villar, James Scott, Steve Hodges, Kerry Hammil, and Colin Miller. (2012) .NET Gadgeteer: A Platform for Custom Devices. In Pervasive Computing.
Pervasive 2012. Lecture Notes in Computer Science,
vol 7319. Springer, Berlin, Heidelberg. 216-233
https://doi.org/10.1007/978-3-642-31205-2_14
103.Akira Wakita and Yuki Anezaki. 2010. Intuino: an authoring tool for supporting the prototyping of organic
interfaces. In Proceedings of the 8th ACM Conference
on Designing Interactive Systems (DIS '10). ACM,
New York, NY, USA, 179-188.
http://dx.doi.org/10.1145/1858171.1858204
104.Chiuan Wang, Hsuan-Ming Yeh, Bryan Wang, Te-Yen
Wu, Hsin-Ruey Tsai, Rong-Hao Liang, Yi-Ping Hung,
and Mike Y. Chen. 2016. CircuitStack: Supporting
Rapid Prototyping and Evolution of Electronic Circuits. In Proceedings of the 29th Annual Symposium on
User Interface Software and Technology (UIST '16).
ACM, New York, NY, USA, 687-695.
https://doi.org/10.1145/2984511.2984527
105.Mark Weiser, (1991). The Computer for the 21st Century. Scientific American, 265(3), 94-105.
106.Mikael Wiberg and Erik Stolterman. 2014. What
makes a prototype novel?: a knowledge contribution
concern for interaction design research. In Proceedings
of the 8th Nordic Conference on Human-Computer Interaction: Fun, Fast, Foundational (NordiCHI '14).
ACM, New York, NY, USA, 531-540.
https://doi.org/10.1145/2639189.2639487
107.Alexander Wiethoff, Hanna Schneider, Julia Küfner,
Michael Rohs, Andreas Butz, and Saul Greenberg.
Paperbox: a toolkit for exploring tangible interaction on interactive surfaces. In Proceedings of the 9th
ACM Conference on Creativity & Cognition (C&C
'13), Ellen Yi-Luen Do, Steven Dow, Jack Ox, Steve
Smith, Kazushi Nishimoto, and Chek Tien Tan (Eds.).
ACM, New York, NY, USA, 64-73.
10.1145/2466627.2466635
http://doi.acm.org/10.1145/2466627.2466635
108.Daniel Wigdor, Hrvoje Benko, John Pella, Jarrod Lombardo, and Sarah Williams. 2011. Rock & rails: extend-
ing multi-touch interactions with shape gestures to enable precise spatial manipulations. In Proceedings of the
SIGCHI Conference on Human Factors in Computing
Systems(CHI '11). ACM, New York, NY, USA, 1581-
https://doi.org/10.1145/1978942.1979173
109.Raphael Wimmer, Matthias Kranz, Sebastian Boring
and Albrecht Schmidt. 2007. A Capacitive Sensing
Toolkit for Pervasive Activity Detection and Recognition. In Proc. International Conference on Pervasive
Computing and Communications (PerCom’07), IEEE,
White Plains, NY., 171-180.
10.1109/PERCOM.2007.1
110.Jacob O. Wobbrock, Andrew D. Wilson, and Yang Li.
Gestures without libraries, toolkits or training: a
$1 recognizer for user interface prototypes. In Proceedings of the 20th annual ACM symposium on User interface software and technology (UIST '07). ACM, New
York, NY, USA, 159-168.
https://doi.org/10.1145/1294211.1294238
111.Jacob O. Wobbrock and Julie A. Kientz. 2016. Research contributions in human-computer interaction. interactions 23, 3 (April 2016), 38-44.
https://doi.org/10.1145/2907069
112.Chi-Jui Wu, Steven Houben, and Nicolai Marquardt.
EagleSense: Tracking People and Devices in Interactive Spaces using Real-Time Top-View DepthSensing. In Proceedings of the 2017 CHI Conference
on Human Factors in Computing Systems (CHI '17).
ACM, New York, NY, USA, 3929-3942.
https://doi.org/10.1145/3025453.3025562
113.Robert Xiao, Chris Harrison, and Scott E. Hudson.
WorldKit: rapid and easy creation of ad-hoc interactive applications on everyday surfaces. In Proceedings of the SIGCHI Conference on Human Factors
in Computing Systems (CHI '13). ACM, New York,
NY, USA, 879-888.
https://doi.org/10.1145/2470654.2466113
114.Jishuo Yang and Daniel Wigdor. 2014. Panelrama: enabling easy specification of cross-device web applications. In Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems (CHI '14).
ACM, New York, NY, USA, 2783-2792.
http://dx.doi.org/10.1145/2556288.2557199
115.Tom Yeh, Tsung-Hsiang Chang, and Robert C. Miller.
Sikuli: using GUI screenshots for search and automation. In Proceedings of the 22nd annual ACM
symposium on User interface software and technology (UIST '09). ACM, New York, NY, USA, 183-192.

大爱助手

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
人机交互工具包研究的评估策略

Evaluation Strategies for HCI Toolkit Research前言摘要引言What is a toolkitDefining a toolkitWhy do research build toolkitsEvaluating ToolkitsMethodologyDatasetAnalysis and ResultType 1: DemonstrationWhy use demonstrations?Evaluation techniques as used in demons
复制链接

扫一扫

专栏目录