sylph是什么

SYLPH 是一个用于实时流计算的平台,核心是通过工作流描述构建分布式流计算应用程序。,SYLPH是一套完整的解决方案，主要包括：

• 开发工具：webUI, 定义streamSql或streamETl任务
• 运行时：基于spark2.x及flink1.5+ , 依赖hdfs和yarn
• pipline插件扩展: java8, 按需实现source,transform,sink
• 基础运维：在webUI完成任务创建后一键部署上线,无需人工部署,整个分布式程序由sylph进行管理
• 运行分析: 在sylphwebUI 上面即可看到任务运行情况,不再需要打隧道查看yarn任务

设计原则

• 利用插件系统分离配置与实现
• 奉行『约定优于配置』，按照[一套统一的约定]进行应用开发，从开发工具，到目录结构。

特性

• 快速完成实时计算任务：StreamSql
• 灵活性: 可以简单自主定制 pipeline节点插件
• 便捷的部署：自动重启，一键上线到yarn
• 简单的运维：日志 监控

什么样的场景适合用SYLPH

目前SYLPH的定位主要是实时etl数据处理能力及实时流计算。基于这两大能力，SYLPH有自己的特定应用场景。主要如下：

• 快速实验流计算
• 管理流计算任务