在2021年4月12号这天,StreamX 这个项目,如同婴儿一般呱呱坠地,到2022年的今天,已经1岁了,感谢大家对她的喜爱和支持!回顾项目发展的这一年,有很多的感动和欣喜,让我们打开时光机一块回顾这一年来的精彩瞬间!
StreamX 开源一周年视频短片👇🏻
一、萌芽
StreamX 最初是我在学习和使用 Spark 和 Flink 的时候产生的一个框架构想,最初的目的是为了简化开发时的各种重复机械化的冗余代码: 不论是 Spark 还是 Flink 开发一个应用都是一上来就得硬编码一堆的环境,资源等参数设置,而且各种 connector 用起来也是如此 。关键是这么多年以来,大家都是这样干。这时候,我内心出现了一个声音: 我是否要做点什么...
于是从 2020年开始,我就在开始慢慢构思这部分的功能实现,提出标准化配置文件的概念,规范出编程模型,提供各种方便快捷的 Connector... 中间省略无数细节。要干咱就认真的干, 做个像样的东西出来,这一开始,就是持续两年的时间,这两年间几乎全年无休。
在 2021 年 4 月,这个项目主体功能已经开发完成了90%,但是开源毕竟和自己一个人使用不一样,还有很多的工作要准备,除还未完成的功能任务,还要做官网、使用文档、公众号开通、LOGO 制作等等,相关文章撰写... 由于细碎的任务太多,我用便签做出了任务的 TODO List。每天能供我利用的时间也就是下班之后或者周末( 部分开发任务 :如下图所示 👇🏻 )
△ 2021 StreamX 开源前夕开发任务
在高强度的工作下,项目初步成型,下图是我截图的一个任务列表图,做了一些PS(对,你不用怀疑,是我自己P的)
△ StreamX Dashboard
其他的工作,也在并行展开,官网最初是使用 Vuepress 做的,使用了一个开源的 Vuepress 主题,为了更好的使用,我加入了这个主题的 QQ群,各种虚心请教,终于花了半个月的时间,官网和文档出来了。
我认为的另外一个非常重要的工作就是 Logo 的确定!关于 Logo,先后尝试自己制作了好几个(下面有些 Logo 大家一定没见过吧 😄),始终不满意,最后在网上花了 500 大洋,找了一家专业的 Logo 制作。跟他们沟通了我的想法,要展现 “流” 的感觉,能形象的表达出来数据的流入和流出,在经历了一周的反复沟通,确认终于选定了现在的 Logo。
△ StreamX Logo 历史
二、出生
这一切工作都做的差不多的时候,我知道,是时候让她和有缘人见面了,于是在 2021 年 4 月 12号 这一天, 我在 infoQ 上写了一篇公开发布开源的新闻稿,算是正式宣布开源了,在宣布开源之前 最初关注的40个小伙伴,不知道你们是谁, 也不知道你们是从哪里知道这个项目的,感谢你们最早给予的关注。
△ StreamX 最早40个 star
还记得,最初我创建微信交流群,大概只有5个人的时候,群里有个小伙伴当时说了这么一句话:我要见证这个群到500人。项目发展到现在,两个微信群人数加起来已经早早的超过500人了,一切在预料之中,也常在内心充满感动,像是看着自己的孩子慢慢长大~
下图是 StreamX 公众号的第一篇文章,在粉丝刚刚500人的时候,阅读量达到了接近粉丝数的三倍,感谢每一位小伙伴的关注和转发,StreamX 的发展壮大,离不开每个热爱技术的小伙伴。
三、成长
项目发展半年后,终于迎来了一批开发者的加入, 再也不是我一个人单打独斗了,两年来僧人苦行一般的坚持,终于等来了和我一块并肩战斗的小伙伴。 看到一个个开发者的加入,他们对项目的评价,他们提的贡献,让我热泪盈眶。很多同学牺牲自己的休息时间参与到项目里面,凌晨三四点还在提交pr反馈问题, 感谢所有的贡献者。
△ StreamX 贡献者墙
在2021年的冬季,我们得到了一些珍贵的荣誉,这份荣誉属于参与项目的每个小伙伴 。👇🏻
在这一年中,我们也迎来了很多企业级的用户,部分企业用户在使用之后,还写了生产实践的文章,被我们放到公众号里,感兴趣的小伙伴可以去查看公众号往期文章。其中海博科技是山东的一家人工智能物联网产品和解决方案公司重度使用 StreamX,已经在很多城市的政府和公安系生产环境中部署了 StreamX: 汇聚处理城市实时物联数据和人车抓拍数据,而且越来越多的中大型企业开始测试QA,准备往生产环境部署,如: 当当网 200+ 任务, 永辉超市 600 + 任务,自如网 3000 + 任务。
并且陆续有多家IT教育机构出相关课程,更有尚硅谷这样的品质和口碑很好的 IT 教育机构和 StreamX 展开合作,这对于一个开源仅一年的项目来说,应该是非常罕见的,感谢大家支持,我们会继续努力,坚信未来会更好。
△ StreamX 企业用户
截止目前我们的全网 Star 数,1.6k+ ,参与开发 StreamX 人数也达到了 30+,感谢每一个加入开发的小伙伴,感谢每一个给予关注的朋友,每一个 Star 都是我们信心和力量的来源,欢迎更多的热心小伙伴加入我们,和我们一块共同成长!
四、感恩
在一周年之际,我们为 StreamX 的开发者和贡献者,特别定制了一批徽章,用以表达我们的感谢,徽章我们选用的是液压工艺,渡金材质,质感和品质都很不错,和我们做这个项目的态度一样。每个包装盒都是我们亲自包装,每个徽章的盒子里放了一张手写的卡片: 感谢有你,感谢这一路有你的陪伴。
△ StreamX 纪念徽章
五、未来
StreamX 从未忘记自己从哪里来,从未忘记自己的初心,做一个真正有价值的项目,让流处理更简单是我们的追求。 目前对Flink 的支持好一些,后面会逐步补齐 Spark 开发和管理方面的能力,进一步打开格局,把 StreamX 里沉淀的一些好的经验反馈到上游 Flink / Spark 和相关生态项目如: DolphinScheduler / SeaTunnel / Kyuubi 中,开源协同。同时更好的支持和融合周边相关生态项目,如: Apache Doris / Pulsar 等。
流批一体,流式数仓,数据湖是大数据领域的趋势,StreamX 虽离这个目标还有一段距离,但我们始终坚信: 道阻且长,行则将至,行而不辍,未来可期。我们会积极进取,做好相关功能持续迭代优化,和社区所有小伙伴一起努力进一步建设好社区,让 StreamX 成为一个功能完善,体验更佳,用户更多的产品,再获得更多认可。真诚欢迎热爱开源的伙伴加入到社区中来,为做一个优秀实用的好项目献上一份自己的力量。
项目地址:
https://gitee.com/streamxhub/streamx
https://github.com/streamxhub/streamx