大数据
文章平均质量分 82
ly_zixuan
这个作者很懒,什么都没留下…
展开
-
StarRocks4种数据模型如何在不同场景中实践
SR的表模型提供了4种不同的数据模型,具体为明细模型、聚合模型、更新模型、主键模型,4种模型如何选择应用,请看详细介绍原创 2022-10-21 10:50:08 · 1839 阅读 · 0 评论 -
Gartner2022技术趋势理解
21年11月份,Gartner发布了2022的技术趋势,一时引起了不小的关注。最近有需要就重新学习了一遍,有些理解,可大家分享。先看一下Gartner调研成果,基于调查结果认为,支撑各类企业数字化转型的12大技术趋势包括,线上有很多的表述,在这里简单罗列一下:1)Enginerring Trust(工程信任领域):Data Fabric(数据编织)、Cloud-Native Platforms(云原生平台)、Privacy-Enhancing Computation(隐私增强计算)、Cybersec原创 2021-12-04 12:40:25 · 1823 阅读 · 0 评论 -
如何选择大数据存储查询引擎
目录:1、从需求说起2、救星OlAP3、新的问题,高并发随着大数据技术的成熟,涌现了非常多的成熟框架和技术,在大数据存储查询引擎方面也有非常多的优秀产品。为什么出现这么多的优秀产品,为什么不是一款功能非常全面的产品,一劳永逸地解决所有问题呢?下面来看看结合实际的应用情况的分析结论。1、从需求说起SAAS软件模式+微服务的架构,最终导致数据分散在每一个DB中,每个DB对应1个或多个领域,数据分散带来的问题就是无法跨领域去进行分析和统计;由于团队独立,产品规划也可能没有整体考虑业原创 2021-11-15 10:29:21 · 309 阅读 · 0 评论 -
大数据实时(7)-如何构建FLink实时平台
目录:1、场景痛点2、实时平台建设方案3、FlinkSQL开发平台4、展望1、场景痛点对于一个实时要求很高的业务领域,实时是非常重要的。分析下来场景问题差别不大,比如之前某一款产品解决的实时场景包括实时数仓、加速查询、联邦查询。今天说的场景也大同小异,包括以下几个方面:1)实时数仓:针对行业日志,进行数据处理并提供高可用的即席查询服务,同时针对离线数仓,进行实效性的补充,提供更加实时的分析服务;3)实时监控:实时开始最核心的场景就是监控,后来才应用于业务相关的实时处理,所原创 2021-10-12 18:05:15 · 413 阅读 · 0 评论 -
大数据实时(6)-事件驱动之埋点
目录:1、背景2、问题3、方案1、背景随着推荐等营销场景的增多,不断地深入应用,对于客户行为日志的收集、分析、整理、预测的需求越来越多。如何收集信息,目前有很多的方案,也有很多的实践。不同的公司也有不同的策略及应用场景,所处的水平也不一样。但是对于问题,对于诉求是一致的,那就是如何快速、有效、准确收集到行业日志数据。只有有了这些数据,才是最基础的,否则就是无源之水,无米之炊。近期也在参与一个项目的相关事项,有些想法,在此与大家分享。2、问题先从现状来看,当前的问题原创 2021-09-27 15:54:06 · 4032 阅读 · 0 评论 -
大数据实时(5)-Hologres实时数仓验证
目录:1、Hologres2、技术架构3、适用场景4、验证1、Hologres阿里的Hologres推出后,受到了很多关注,以几个方面的因素:1)Hologres作为MPP架构的一款大数据存储分析引擎,提供了很好的性能支撑;2)确实是解决了很多客户的问题,有一些大数据高并发的场景也能适用;3)是相较于ADB的产品,从官方资料方面,确实有很多的提升,但验证的结果如何,还是各有千秋;我们来看看官方的介绍:Hologres是阿里巴巴自主研发的一款交互式分析产品,兼容原创 2021-09-14 09:23:24 · 633 阅读 · 0 评论 -
大数据分析引擎-Doris简要介绍
目录:1、背景2、Doris的架构3、Doris的核心特性4、数据的导入和输出1、背景大数据的时代,数据的处理能力大大增强,但在最后一个环节,即数据应用服务环节依然存在较大的瓶颈。原来业务数据库时代,高并发、高灵活性是一个矛盾体,如何让一线在灵活定制分析SQL时候,虽然拖拉拽生成了不忍直视的SQL,但希望查询引擎依旧可以保持强劲的性能指标,不管是并发度还是查询时间都能让客户满意,是蛮有挑战的一件事情。目前的查询分析非常多,并且还在不断的涌现出来,引擎层出不穷,各有优势也有原创 2021-08-24 14:09:47 · 3326 阅读 · 0 评论 -
大数据实时(4)-YJD的Flink&Hologres的实时数仓补足
目录:1、场景与痛点2、技术选型3、应用最佳实践1)客户系统实践2)大屏实践3)实时数仓实践4、思考1、场景与痛点一家快速成长的公司,在短期内发展起来时,技术方面都会留下一些问题,比如从大单体到微服务的转型,从选型到落地,有时为了快速满足业务的需求,会采用一些临时方案满足客户要求,造成一些临时方案遗留症。比如:架构方面:多种数据源、多语言、多布式、异构系统、业务侵入严重,多种架构带来的复杂性;数据方面:按场景化的...原创 2021-08-23 10:08:05 · 259 阅读 · 0 评论 -
大数据实时(3)-BK事件驱动解决方案
目录:1、何为事件驱动,与实时分析的区别是什么2、支持什么样的需求场景、背景是什么3、平台架构4、功能介绍5、未来规划1、何为事件驱动,与实时分析的区别是什么以前实时大多处理的是数据分析类型的场景,随着业务的不断增长,特别是行为日志采集后进行实时的预测、推广的场景广泛应用,事件驱动型的类型场景越来越多。行为日志的数据特别大,叠加实时的场景应用,对于性能、稳定性、实时的要求特别高。事件驱动的技术恰好可以解决这类场景人诉求,通过事件流与外部系统的交互的技术支撑非事件驱动莫原创 2021-08-19 10:03:36 · 221 阅读 · 0 评论 -
大数据实时(2)-BK的Flink实时数仓实践
1、发展历史从业务团队和大数据团队烟囱式的开发,到构建大数据平台,18年开始行动,速度还是可以的。18年Flink不太成熟,使用Sparkstreaming属于正常的选择范畴,同时,构建了任务调度平台+SQL开发平台,降低开发难度,提升开发效率,是一个不错的选择。随着任务增大,对于延迟、状态的管理、多任务的稳定性都有非常大的挑战,19年转向Flink,社区非常活跃,成果也非常多。在FLink的基础上,基于之前的SQL平台功能,基于Flink1.8 快速构建了SQL2.0的功能,从此开启了实时数仓原创 2021-08-18 10:36:14 · 341 阅读 · 0 评论 -
大数据实时(1)-KS的FLink实践
大数据实时学习笔记1、应用场景分为4类场景,包括核心数据大屏、活动实时指标、运营体系看板、搜索广告实时;1)核心数据大屏:包括公司经营情况的一些大盘数据,移动版数据,最重要的是实时的核心日报。所谓核心即真正能体现价值的数据,也可以说与战略、生死无关的指标,都不能叫做核心指标。在日报中体现最重要的核心指标,并实时出来,才是有价值。2)活动实时:提供常规的移动端活动核心数据和活动模板的看板。但最有价值的应该是活动大屏,比如大型活动,比如春晚、双十一等特别日期的一些活动,需要关注整体的指标,也有分原创 2021-08-17 11:53:56 · 159 阅读 · 0 评论 -
2021GIAC心得一二
今年的2021GIAC受疫情影响,延期了一个多月,有4场的现场分享改为了线上分享,也是由于疫情第二次突然升级造成的。正如举办方所介绍的,延期一个月,留给老师的准备时间也充分了一些,本次分享的议题符合前沿技术和核心痛点的诉求,是符合预期的。由于要担任讲师,并没有全程听完感兴趣的分享,重点集中在架构和大数据2个维度,收获颇多,简单总结几点给大家分享一下:1、技术管理之技术人的成长;2、大数据之AI、数据湖、数据中台;3、架构之基于有损服务的稳定性保障机制,...原创 2021-08-11 09:47:49 · 132 阅读 · 0 评论