XIAOJUSURVEY 源自滴滴内部问卷系统,已在集团内为各业务线提供在线调研服务,并为外部提供多种企业级调研场景解决方案。经过5年多的发展,它已发展成一个相对完整成熟的企业级平台。本次开源旨在为行业和社区提供一种轻量、安全的问卷系统解决方案,让调研更轻松。
背景
在调研领域,「创、投、收、分析、报告」是问卷系统核心的节点:
「创」阶段是问卷设计和创建的过程,根据调研需求设计问卷。
「投」阶段涉及到问卷的分发,通过多种渠道有效触达目标受众。
「收」阶段是问卷收集的过程,发放的问卷被目标受众填写并收回。
「分析」阶段是对收集到的数据进行深入分析,从中提取出有效的信息。
「报告」阶段则是将分析结果整理成报告,提供有效的建议和指导方案。
传统的问卷系统在处理这些复杂环节时,面临着诸多挑战,如数据收集效率低、分析能力有限、用户体验不佳等。随着技术的发展和用户需求的变化,这些系统在灵活性、扩展性和数据安全方面也暴露出不足。
此外,行业和社区在调研问卷领域的技术关注和讨论相对较少。我们希望通过 XIAOJUSURVEY 开源项目,分享我们的经验,促进行业的交流,激发创新思维,推动调研领域的创新和发展。
项目简介
XIAOJUSURVEY 是一个轻量、安全的开源问卷系统,支持各领域的快速接入和灵活扩展,方便用户轻松打造专属的问卷系统。
项目的特点和优势包括:
标准化设计:制定了问卷标准化协议和 UI/UX 设计规范,确保系统的互通性、灵活性和一致性。
产品级解决方案:提供了完整的解决方案,覆盖问卷生命周期所有阶段,适用于快速构建专业的调研系统。
重视安全性:重视数据安全,提供了基础加密传输和敏感信息检测,确保问卷的安全性和可靠性。
易于定制和部署:项目支持定制化的题型扩展和配置化的二次开发,支持低成本部署。
设计问卷轻松高效
投放问卷简洁一致
原理和架构
问卷的本质是收集数据与洞察数据,各阶段均对数据有不同的要求和处理策略。数据的质量、效率与安全性是问卷系统设计的核心。数据质量确保调研结果的准确性和可信度;数据效率则关注数据处理的速度和流畅性,确保信息及时被捕捉和利用;数据安全性则是保护调研参与者隐私和数据本身不被未经授权地访问或篡改的基石。问卷系统以此为基础展开架构的设计。
结构描述
在设计问卷阶段,我们需要确定调研的内容,包括题型选择、题目设定、逻辑控制和表述、以及问卷的特殊条件,如限时问答等。数据的定义必须遵循规范化原则。我们基于 Schema 化设计,制定了问卷的协议规范,以确保在数据流转的全过程中,结构保持稳定和灵活。
收集和加工
在问卷投放后,我们更关注回收数据的内容和质量。在作答阶段,我们会验证数据是否符合预定义的格式和规则,以及内容提交的及时性和合理性,如关键问题的必答校验、中间数据的保存或断点续答等。在数据预处理环节,我们会进行进一步的检查和清洗,例如异常值检测、缺失值填充、过滤不符合规则的数据等。
分析和报告
在分析阶段,我们通过多维度的方式来反映研究现象,以便进行信息洞察和汇总,从而生成调研报告并提出解决方案。我们需要提供多种类型的报表,以便问卷设计者进行线上分析,同时支持授权导出和自动推送,方便本地化分析或业务领域的自我加工和扩展。
数据安全保障
保障数据安全是核心和基础,平台积累了信息安全、数据安全、网络安全、个人信息保护等多方面的经验。为满足各领域多样化的管控措施,系统支持扩展自定义的数据安全解决方案。
以下是具体的架构实现,系统基于协议基础进行上层能力实现,安全始终贯穿了整个系统的设计。
如何实现?
深入 Schema 设计
业务驱动的数据模型
数据贯穿于问卷的全生命周期,从创建开始的数据定义,到回收时的加工,再到分析的处理,以及数据血缘关系的追踪,在这个过程中,数据不断地发生变化。通过 Schema 来表达领域知识和数据定义,以及数据之间的关联,使得问卷能够支持多样化的题型和复杂的逻辑关系。
协议结构建立在 Meta Schema 基础上,它既定义了问卷的业务协议,也规定了物料化协议(后文将详细介绍物料部分)。此外,我们将问卷作答过程中所需的附加数据集抽象化,形成了数据源协议,这部分数据包括但不限于投票题的实时投票进度、预约题所需的预约状态等。
数据完整性保障
问卷系统不仅面向问卷设计者和答题者提供最基础的业务能力,还需要对外管控授权数据给到相应的业务系统,此过程中涉及多角色协作,包括开发人员、领域专家、数据分析师等。有了协议规范的约束,数据在整个链路中保持相对稳定和一致。
安全可扩展的架构
灵活的问卷状态管理
一份问卷从设计到数据回收,往往需要经过不同的业务流程,诸如考试/测评类问卷还需处理实时结果反馈。
为了满足不同业务领域多样化场景的扩展,我们在保证问卷状态流转稳定的前提下,将各种场景抽象为任务,特定的业务逻辑由相应的任务自动执行。一个状态的下一个流向由一个或一系列任务决定,从而形成各个领域的不同业务规则和具体流程。
可插拔的安全服务与策略
我们基于数安管理规范严格实施每项业务措施和技术方案,为了可以集成和扩展调研领域各安全方案,系统核心围绕内容安全服务化和数据安全策略为设计目标化展开。如,问卷内容诸如敏感词检验、PII信息等,在发布/提交前应进行严格检测,可通过API化节点同步或异步接入。目前项目提供了敏感词库配置、检测及脱敏展示能力,数据安全诸如加密方式、分级存储、分量展示等策略持续建设中,后续项目会开放插件引擎,支持以安全插件配置化方式进行管理。
视图化方案与用户体验
好用和效率的结合
可视化操作可以降低领域复杂性以及提升问卷创建和分析的便捷性。直观的界面和简洁的功能设计,满足从调研新手到专业研究人员的多样化需求。良好的用户界面和流畅的交互设计也使得填写问卷变得更加愉快和轻松,从而提高参与度和问卷的回应率。
场景化和物料化的设计
题目是问卷最核心和基础的组成部分,而复杂繁多的调研目的要求问卷内容高度灵活,这对题型的多样性和可用性提出了极高的要求。分析实际使用,问卷设计侧和问卷填写侧既存在共通性也存在差异性,这在题型上呈现了类似于复杂笛卡尔积的结构。
为提升问卷内容一致性、预览实时性和可扩展能力,我们将场景抽象成编辑态、预览态和运行态,题型设计为物料组件、题型的功能进行配置化管理,这样的设计可以满足功能的自由组装和扩展。
通过各状态容器来实现不同状态执行时,进行相应题型物料的加载和编排。可选择使用官方提供的容器,或者自定义开发。
总结及规划
以上关于 XIAOJUSURVEY 的分析是对系统核心部分的基础概述,实际上,一个完整问卷系统的内部机制和运作逻辑远比我们目前探讨的要复杂得多。在后续的分析中,我们将深入挖掘核心组件、数据流动性、权限设计、安全性措施等方案的细节,并会结合更多实际业务场景,进一步探讨如何提升系统性能、提高数据处理效率和准确性、保证用户体验的流畅和直观等,以及动态化生成答卷和智能化的验证分享和探索。
Feature 主要围绕场景能力和架构能力的建设,目前开源的是最基础的产品化流程,后续会逐步开放更多题型、逻辑能力配置和产品功能,如协作、导入等等。架构上,后续将打造题型物料市场、安全控件插件市场,沉淀更多题型及安全相关能力。同时,将打造 schema core、工作流编排等能力,进一步拓展灵活性和扩展能力,并拓展各配置视图化如 schema 视图化、敏感词配置视图化等等。
此外,后续会进一步扩展嵌入式问卷、IM问卷等场景,欢迎共建。
嵌入式问卷
结语
开源不仅仅是一种技术选择,更是一种文化和精神。XIAOJUSURVEY 的建设离不开社区的共同努力和持续贡献,我们欢迎更多开发者和用户加入,共同为行业打造更加优秀的解决方案,让调研更轻松。
点阅读原文,跳转项目官网