2020.11记录

2020.11 第一周 技术报告

---

---

前言

记录自己本周所看的论文一些相关内容

---

一、Making Space for Voice: Technologies to Support Children’s Fantasy and Storytelling

1. 题目：为语音腾出空间：支持儿童幻想和讲故事的技术
2. 来源：Cassell J , Ryokai K . Making Space for Voice: Technologies to Support Children’s Fantasy and Storytelling[J]. Personal and Ubiquitous Computing, 2001, 5(3):169-190.
3. Keywords: Interactive narrative; Interface; Storytelling; Tangible interface; Young children
4. 内容：本文介绍了StoryMat，是一个支持并听取孩子讲故事的声音的系统。 StoryMat通过记录和回忆孩子们的叙述性声音以及他们用毛绒动物在五颜六色的故事引发的被子上进行的动作，提供了一个以孩子为主导的故事聆听空间。

1.孩子们知道自己可以创建和控制游戏对象的内容时，他们就会感到成就感和授权感[4]。 因此，如果技术是要鼓励儿童的创造力，尤其是在儿童讲故事的游戏中发挥作用，那么它一定不能削弱儿童游戏中那种以儿童为主导的方面。
2.幻想游戏还可以培养孩子的认知和语言能力。 在幻想游戏中，孩子们会练习代表对象的事物，动作和感觉的能力。 这种能力与相应的语言表达能力相对应[18]。 通过促进儿童象征性想象力的发展并为其锻炼提供场地，幻想游戏和叙事活动为发展抽象思维和更高的心理过程铺平了道路[19]。
3.已经发现，即使是孩子的道德和逻辑推理能力，在与同伴交谈中也比与父母交谈中更好[24,25]。

5. Technical implementation

1.StoryMat本身是一块柔软的棉被，上面贴有贴花的人物。 软件将垫子划分为126个区域，而无需连接电线或网格。 嵌入小型毛绒动物中的超声波发射器可以无线跟踪动物在垫子上的运动。
2.挤压毛绒玩具会触发计算机，开始记录孩子的叙述声音和毛绒玩具的二维坐标。 当孩子放开毛绒玩具时，坐标和声音会合并成电影文件并保存在计算机中，以便在垫子上的适当位置播放。 当随后在垫子上的相同位置遇到新的输入时，电影文件将自动触发并通过安装在垫子上方的投影仪播放，并通过旁边的一对扬声器进行播放。 填充动物的动画被投影到垫子上，并沿着记录的路径行进，并辅以孩子的记录声音（参见图2）。

3.StoryMat上的故事本身也被设计成可操作的协作对象。 在播放另一个孩子的故事时，用户可以抓住毛绒玩具，并开始讲述播放故事的新结局。 在这种情况下，将以第一个孩子的开头和第二个孩子的结尾创建一个新动画，并将此新动画存储在可能要在垫子上播放的故事库中。 因此，儿童故事的各个层次与原始的一个孩子的故事一起在图书馆中积累。

6. 用户研究

相信StoryMat鼓励这种创造性的，以儿童为主导的，对语言和叙事的开放式探索，这种探索对幼儿非常重要，并且使孩子们能够相互激励。 为了调查这些说法，我们研究了在StoryMat上玩耍如何影响独自玩耍并与玩伴一起玩耍的孩子的体验，并且我们比较了在有源StoryMat上玩耍的​​孩子和在被动被子上玩耍的孩子。 即，将在StoryMat上单独玩耍的孩子和与玩伴玩耍的孩子与单独玩耍的孩子和在被动垫上与玩伴玩耍的孩子进行了比较。没有故事记录和回忆功能的同一被子就是我们所说的被动垫。 在我们的分析中，我们研究了创造力指标，成熟叙事设备的使用以及在垫子上进行协作的性质。
对照组：
when playing on the passive mat or the Story-
Mat, either playing alone or with another child.

---

• Children’s story patterns on the Mat

• Analyses of the children’s discourse

  • StoryMat mediating collaboration between children
  • Number of fantasy/imaginative objects

1. 例如，孩子们开始拾起障碍物，将其放在耳朵旁听虚构的电话交谈。 这种想象力的飞跃反映了儿童参与更高的心理过程的能力[19]，并且是发展的重要指标。 因此，我们有兴趣调查StoryMat是否在幻想游戏过程中鼓励了对象的转换。

2. robust measure of ‘‘narrativity’’: the ability to shift back and forth between the roles of character, narrator, and ‘‘metanarrator’’ (or stage director).

7.结论

• both the single children and the dyads playing on StoryMat transformed significantly more imaginative objects in their stories than the single children and dyads on the passive mat.
• 儿童将环境中的物体转换为富有想象力的物体的能力随着年龄的增长而增加，这是他们创造与真实世界分离的叙事世界的能力的指标。
• 当两个孩子在StoryMat上玩耍时，他们有能力像三个真实的同伴一样玩耍，将彼此和垫子中的元素融合在一起。
• StoryMat上的孩子创作的语言作品更像是发展中的高级叙事，而不是假装游戏。

二、Interactive storytelling for children: A survey（ISC综述）

1. 来源：Interactive storytelling for children: a survey[J]. International Journal of Arts & Technology, 2014.
2. 关键词：digital storytelling; interactive storytelling; children
3. 内容：
   本文回顾了与儿童关系中的交互式故事讲述的过去和现在的研究。 它从多个角度研究了儿童交互式故事讲述（ISC）¹的领域，并考虑了将儿童视为交互式故事作者的理论方法，设计方法和技术解决方案。

4. 细节：

1. 人工智能增强的交互式故事是一个智能代理的响应数字系统，由运行时引擎动画，并以故事世界的形式提供内容。在基于ai系统中,然而,纯粹的作者并不是位于用户,而是故事的作者手中(负责实际开发的内容和叙事结构)和数字系统设计(开发人员讲故事的叙事结构和内容的系统是模拟)。
   2.Some systems, for instance, allow children to create stories based on an existing database of elements (e.g., StoryBuilder, in Antle, 2003); others mix story exploration with story creation; the degree of interaction with a technological device or space in constructing a story might also go from acting as a mere repository of digital memories
   with annotation functions to active support for story creation. Where should we draw the line? In a widely cited article by Cassell and Ryokai (2001) the authors make an argument for the need of creating systems that support children’s free creativity and play.
   3.与IDC相比，ISC 重点从技术本身转移到使用技术和叙事作者身份作为对儿童发展产生积极影响的手段的背景，目的和手段。
   4.叙事方式：共享叙事，“集体叙事，协作叙事或合作叙事。

5. 面临挑战

   • The context of use：了解与儿童使用的特定上下文相关的交互式讲故事技术和方法。 尤其重要的是，区分正式和非正式环境。

   • 儿童讲故事中的“社交”问题

   • 包容性和特殊需求:对特俗儿童群体开放

   • 评估：虽然存在许多针对与儿童有关的互动技术的评估方法（请参阅Markopoulos等，2008），但缺乏在儿童叙事的特定背景下评估系统，人工制品和过程的方法论工具。

三、Draw Your Own Story: Paper and Pencil Interactive Storytelling

来源：De Lima E S , Feijó, Bruno, Barbosa S D J , et al. Draw Your Own Story: Paper and Pencil Interactive Storytelling[C]// Elsevier B.V. 2014:33-41.
关键词：Interactive Storytelling, Augmented Reality, Sketch-Based Interface.
内容：提供了一个叙事系统，可以在传统纸上对增强现实中的交互式叙事进行戏剧化处理。该系统允许用户通过在纸上素描对象来与虚拟角色自由交互。
细节：

• 引言：

1.讲故事的系统配备以视频游戏界面为灵感的用户界面似乎很方便，但这样的界面有可能限制用户的沉浸感和创造力。
2.人机交互研究人员从不同的角度关注沉浸式界面：多模式界面[19][20]、虚拟现实[19]和增强现实（AR）[17][18]。然而，很少有沉浸式系统致力于交互式故事讲述。
3.探索用户创造力和自然参与的有趣方式是使用基于草图的界面。基于草图的交互在工程、教育和三维建模中得到了广泛的应用（见其他地方关于这个主题的特刊[²），自从60年代伊万·萨瑟兰提出了著名的SketchPad系统[24]，这是一个永恒的研究课题。这些系统使用特殊的输入设备（如平板电脑）或投影显示器。

• Paper and Pencil Interactive Storytelling
  
  

纸笔互动式故事系统由三个主要模块组成：故事计划器，草图识别界面和增强现实戏剧系统（图2）。 故事计划者处理多个虚拟自主角色的动作，每个虚拟自主角色都有预定义的目标，但是可以通过用户交互来重定向其行为。 草图识别系统包括一个支持向量机分类器，该分类器经过训练可以识别用户在纸上生成的一组手绘草图，这些草图由照相机捕获。 增强现实戏剧化系统控制并渲染叠加在现实世界对象上的虚拟世界，从而创建混合现实环境。 如果在图像上找到基准标记，则系统根据标记所标识的虚拟位置渲染虚拟世界对象和角色。

1. Story Planner：
   讲故事系统遵循的三种方法：基于情节的[27]、基于角色的[30]或混合方法[26]。
   本文是一个非确定性的混合方法之上添加了一个层，这种方 法在我们以前的一些作品中发现[27][28][29]。在这种方法中，非确定性规划算法生成一个计划，其中事件允许角色尝试实现目标而不必成功[29]。此外，事件可以由不确定性自动机[28]指定，其中弧表示我们称之为“动作”的 短片段。
   

2.Hand-Drawn Sketches Recognition
The process of recognizing hand-drawn sketches can be divided into a pre-processing phase and a recognition phase.
3.Augmented Reality Dramatization
增强现实戏剧化系统使用ARToolKit Library2，ARToolKit Library2封装了一些功能，可以根据物理基准标记的大小和方向来计算真实相机的位置。 每个标记都有一个独特的模式，并与虚拟世界的特定位置关联。

四、Supporting Creativity in Designing Story Authoring Tools

1.considering several elements of the story: the complexity of the plot, the originality of its elements, character personality, role and contribution to the story.
2.This level of attention paid off as it was reflected by the insight each character had in the story but also took resources and time away from working on the plot and its
originality, somehow interfering with the creativity flow.
3.总体而言，教师评论了文本和图像并将它们组合在一起可以激发更高水平的创造力。 老师们还评论了孩子们如何通过在故事舞台上自由组合来创造性地利用不同的媒体：文本，图像和音频。 最后，教师欣赏谜语和押韵的原始用法，将其作为叙事的特殊元素。 他们还赞赏对神话和传说的引用。
人机交互（HCI）专家观察到，对书，卡通和广告的引用是在精心设计的过程中完成的。 此外，还可以看到孩子们钻研自己的记忆和个人经历，以便从故事中获得启发。

4.中性角色很受启发。 通常，使用中性角色的孩子会产生一些深度的描述，从而增强了整个故事的创意
5.在他们的用户研究中，他们为与我们年龄相同的孩子提供了数字背景，并观察了这些如何增强孩子在整个过程中的积极性和参与度。 他们还注意到，随着视觉效果的增加，所创作故事的质量在某种程度上破坏了他们的创造力。 此外，他们报告了数字背景如何在被他们分心的孩子中引起认知超负荷。我们的研究结果表明，即使考虑到3.3中报告的问题，我们的图像丰富版本也解决了创造性想象力朝着与图像相关的宇宙相关的特定轨迹的过程。
6.在两个版本的故事创作过程中，我们观察到了导致分心的认知超负荷的两个主要来源：1.呼吁儿童画自己的角色，使他们的注意力从丰富的情节上移开； 2.使用流行的图像来干扰 让孩子们以个人的方式精心设计人物和情节，并利用他们的经验中的其他资源

五、Clover: Connecting technology and character education using personally-constructed animated vignettes

来源：Bailey B P , Tettegah S Y , Bradley T J . Clover: Connecting technology and character education using personally-constructed animated vignettes[J]. Interacting with Computers, 2006(4):793-819.
这项工作的贡献是：（i）一种计算工具，它使学生能够建立，使用和共享自己的动画小插图，使这些类型的小插图能够广泛而自由地用于角色教育； （ii）研究人员在开发类似的多媒体工具时可能会借鉴的设计原理，经验结果和经验教训； （iii）将多媒体界面设计方面的研究应用于现实世界中的问题，从而开发出一种实用的工具，可以将多媒体用于角色教育，从而增强学生的学习体验。

六、Story Spaces: Interfaces for Children’s Voices （MIT）

内容：gathers researchers with a diverse set of perspectives to discuss what it means to support children as producers of tales.

探讨这些儿童活动玩具和工具的动 机和方向。讲故事是成年人激发孩子学习科技的一种方式 吗？讲故事是不是一种融入了儿童表达自我的技术？在考虑支持儿童声音的界面和技术时，讲故事的空间是什么？

思考：：
1 为什么我们应该首先支持儿童讲故事？
2 科技是否适合充当儿童秘密和故事的倾听者?
3 技术在讲故事 中的作用是什么？
4 与传统的讲故事技术相比，讲故事技术的优缺点是什么？
5 对于儿童用户来说，讲故事技术应该扮演什么角色：同龄人还是老师？合作者还是导师？或者其他角色？

Justine Cassell (Moderat）：
(1)支持孩子生产者和实现者的内容,而不是接受者和用户;
(2)应用程序参与身份形成和儿童学习语言艺术和文化,而不是数学非科学的更典型的计算机支持的主题,
(3)采取对等的角色而不是专家对一个孩子
Allison Druin:
说明如何用讲故事的技术来帮助儿童成为作者和合作者
Jack KlaftBecause:
讨论自己作为一个讲故事人的活动(做一些实时讲故事)，并讨论Starlab的讲故事活动，包括涉及儿童和摄像机的项目，教育幼儿的电脑游戏，以及一个处理人工智能的新项目。
Nichole Pinka:
讨论儿童如何使用基于网络的技术，可以作为基于社区的互动叙事历史的开发者。
Kimiko Roykai:
科技可以增加日常故事唤起的特质，以支持儿童的自然叙事活动。

七、Design for Change With and for Children: How to Design Digital StoryTelling Tool to Raise Stereotypes Awareness

八、Fiabot! Design and Evaluation of a Mobile Storytelling Application for Schools

来源:IDC 2014 Elisa Rubegni，Monica Landoni
关键字：Child-Computer Interaction; Formal Learning; Mobile Learning; Digital Storytelling .
内容：本文有助于当前关于数字技术如何融入正规教育系统的争论。在一项历时四年的纵向研究中，我们对移动技术如何支持学校课程定义的教育活动进行了调查。在学校课程中包含的主题中，我们专注于文学领域，并开发了数字故事 讲述（DST）应用程序Fiabot！，以支持此活动。
细节：

1.学会如何用不同的文学体裁来写一篇叙述
培训官方课程中包含的其他能力，如社 交技能、创造力和媒体素养。
2.实验对象：9-11 岁的4年级和5年级的儿童。在这个年龄段，孩子们已经学 习了叙事体裁的主要特征，更注重培养他们的语言能力。 在这些层面上，要求老师们学习创造性的故事结构。
3.In Fiabot! we propose for each literary genre a structure and a “list of ingredients” that inspire the children while they are creating the plot of a story and inventing the characters.

定义三个模块：
I） 定义故事结构和情节；(支持探索和 灵感阶段)

II） 媒体创作和编辑；(支持生产)

III） 课堂内分享和故事出版。(支持共享)

4.老师评价标准：
创造力：同意维果茨基[21]对创造力的 定义：创造力是将过去的经验和现实相结合的过程。教师 对表现出不同元素的独创性组合及其精雕细琢的故事给予高分，而没有原创元素或仅仅是电影或书籍副本的故事得 分较低。
协作性：当孩子们表现出在自己之间分配任务的能力，以成功地实 现教育目标并让小组所有成员都参与时，得分更高。当一 个或多个孩子不参与活动时，该组得分更为消极。
媒体素养：当孩子们在故事中始终如一地使用数字内容时 ，老师们给出了积极的反馈。媒体可以包括声音、音乐、 图像、绘图、视频或动画和数字化手工绘图。
与叙事体裁的一致性：童话故事遵循一个有开头的结构（“从前。一个中间词，一个结尾（“他们从此过着幸 福的生活”）。

九、Hand gesture-based interactive puppetry system to assist storytelling for children

来源：Liang H , Chang J , Kazmi I K , et al. Hand gesture-based interactive puppetry system to assist storytelling for children[J]. The Visual Computer, 2016, 33(4).
关键词：Serious game · Digital storytelling · Virtual
puppet · Hand gesture recognizing
内容：提出了一种新颖的手势木偶故事讲述系统，该系统为幼儿提供了更直观，更自然的人机交互方法，以发展他们在虚拟故事世界中的叙事能力。
细节：

引言：
1.教育游戏或用于训练目的的严肃游戏已变得非常流行。
2.数字故事讲述遵循与经典故事讲述相似的已知策略，可以 帮助孩子们获得一些技术技能，并在团队协作重加强彼此之间的联系。
3.讲故事不仅仅是叙事。在其基本形式中，讲故事通常与手势和表情相结合。口头叙述也可以与其他身体动作相结合。（培养认知和身体协调能力）
4.本文工作:①儿童通过手势操纵虚拟木偶来表演故事。②通过深度运动传感设备来提高儿童在认知发展方面的能力以及在讲故事时的运动协调能力。

General design：
Those commonly speculated core skills of cognition include: number [24], space [25], visual perception
[26], essentialism [27], and language acquisition [28].
Target：
1.《木偶叙述者》是针对5至8岁的儿童而开发的，涵盖了关键阶 段1（5-7岁）的年龄段。
2.目标是赋予数字故事一种新的互动方式，这是更灵活和沉浸式。（叙事能力训练、虚拟空间培养数字认知、空间意识和视觉感知技能）
3.初步设想：按照所提供的故事情节，儿童完成整个故事的叙述，同时，儿童可以简单地用手的动作来控制虚拟木偶的动作，与虚拟场景中的玩具互动，辅助叙事。

Story topic：The Crow and the Pitcher
Pipeline:

Implementation

该部分通过人机交互对运动传感器设备采集的传感器数据进行 处理，并将其传递给下一个部件。运动控制随后解释数据并确 定化身的位置和姿势。输出模块更新虚拟环境中化身的性能作 为反馈。我们在我们的系统中使用了一个跳跃运动控制器[32] 作为HCI传感器设备来跟踪手势，它可以通过红外深度提供高保真的手指跟踪传感器。我们利用Leap Motion公司提供的Leap Motion SDK作为API从设备中访问手和手指的运动数据。所有3D 模型和动画都是在Maya 2014中创建的。我们在Unity3D Pro V4.2中集成和开发了整个系统。

十、From Her Story, to Our Story: Digital Storytelling as Public Engagement around Abortion Rights Advocacy in Ireland

来源：CHI 2018

十一、On How Users Edit Computer-Generated Visual Stories

内容：研究提供了一个更好的理解用户如何接收和编辑机器生成的故事，告诉未来的研究人员创建更有用和有用的 故事生成系统

机器生成的视觉故事。在visual storytelling task中，如Huang等人[7]所介绍的，计算模型以5张照片序列作为输入，然后自动生成一个描述该照片序列的短篇故事。Huang等人还发布了VIST datasetl，其中包含81,743张独特的Flickr照片，有20211个序列，与人类写的故事对齐(如图1所示)。许多研究人员已经提出了使用该数据集生成可视化故事的方法。在本文中，我们在VIST的测试集上运行Wang et al.[15]发布的可视化讲故事模型，得到机器生成的可视化故事。

十二、Heteroglossia: In-Situ Story Ideation with the Crowd

十三、Guidelines for Combining Storytellingand Gamification: Which FeaturesWould Teenagers Desire to Have aMore Enjoyable Museum Experience?

摘要：博物馆通常旨在吸引和吸引各种各样的观众，而青少年却是被忽略的群体。
这项在数字媒体领域的博士研究探索了数字技术如何促进自然历史博物馆为青少年（15-18岁）创造沉浸式博物馆体验，尤其是通过数字叙事和游戏化框架。
该贡献将是一组准则，将有助于设计这些博物馆内部的互动体验。
到目前为止，我们已经通过共同设计课程吸引了155名青少年，130个焦点小组成员和98个可用性研究参与者，以及3个博物馆，12位策展人和17位硕士生。
通过定性分析，我们的初步发现表明，青少年在考虑愉快的博物馆之旅时会重视游戏化和讲故事的元素，而策展人则将基于故事的叙述视为向青少年提供愉快的博物馆体验的最主要方法。
根据发现的发现，并与马德拉（Madeira-ITI）合作，为葡萄牙丰沙尔自然历史博物馆开发了两种针对青少年的互动移动体验。

十四、Storytelling through Drawings:Evaluating Tangible Interfaces for Children

摘要：本文提出了一项正在进行的研究，比较了有形界面和传统界面提供的体验的潜力和质量。
这项研究是由两组幼儿园的儿童通过两个界面进行的，目的是激励儿童进行口腔卫生。 儿童绘画是用来评估他们的经验的方法之一。
我们发现了与有形界面和传统界面交互的孩子的绘画在数量和质量上的差异。 图纸表明，通过与有形界面进行交互，孩子们会更积极地参与这项任务。

数据漫画

项目：A storytelling platform where children & peer can use puppets to enter a virtual, play & learning environment.

http://www.chandnikabra.com/pubby.html

小学生故事叙述质量基础性研究的变量

1.Fundamental research has been carried out to evaluate the story narration quality of the elementary school student from long time ago [39–41]. Various variables were examined, including story length and syntactic complexity [42–44], the use of specific story grammar components, and the presence of episodes, etc [45], among which the metrics of story length and syntactic complexity are commonly examined in the practice of school-age language development studies [42–44].
2.事件相关电位（Event-related potentials，ERP）目前被应用于虚拟现实中认知过程和运动控制的研究。
摘自《Hand gesture-based interactive puppetry system to assist storytelling for children》

儿童讲故事的好处

• Inspires purposeful talking, and not just about the story — there are many games you can play.
• Raises the enthusiasm for reading texts to find stories, reread them, etc.
• Initiates writing because children will quickly want to write stories and tell them.
• Enhances the community in the room. Improves listening skills.
• Really engages the boys who love the acting.
• Is enjoyed by children from kindergarten to the end of elementary school.
• Gives a motivating reason for English-language learners to speak and write English.

---

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

---

1. 交互式数字讲故事（IDS）和儿童互动设计（IDC） ↩︎

2. Igarashi, T., Zeleznik, B.: Sketch-based interaction – Guest Editors’ Introduction. IEEE Computer Graphics and Applications 47(1), 26–27 (2007) ↩︎