- 博客(32)
- 收藏
- 关注
RSS订阅原创 大数据技术架构如何选型
最后是运维成本，这个其实涉及到产品的应用形态，如果只是SaaS公有云，则是可控的，如果私有化部署的场景非常多，则运维成本会非常大，也可能在选型时起到决定性的作用。即做大数据是满足业务诉求的，业务诉求会有很多的定制需求，通用开源的版本不一定能满足，所以要做一些定制开发，比如SaaS的多租户体系的处理机制，一般的通过大数据都不支持，在应用处理时，一定要定制开发才行，否则处理时效、处理性能都无法满足客户要求，如果选择使用者模式，基本就是个不可用的系统或者会有非常多的限制。做为有追求的技术人，倾向于后者。
2023-05-11 16:31:08
300
原创 微服务架构真的不适用了吗
最近，微服务架构在国产化的潮流下，出现了一些不同声音。在私有化的情况下，微服务反而会带来非常大的困扰。比如原来单体架构，很容易部署的场景，现在变得复杂了，以前实施人员一键搞定上线，现在专业运维人员努力才能搞定，成本、时间、质量、运维都带来了非常大挑战。于是乎微服务架构无用论时有抬头，不对，严格来说是不适用论，不管哪种论调，感觉都有点矫枉过正。来看一下微服务架构之前的核心主流架构，即单体架构。在之前参与ToB的ERP时代是典型的这种架构，一套代码，所有开发人员进行需求开发、BUG修改、集中发布，对应的
2023-05-11 16:30:36
283
原创 AIGC的机会在哪里
不过，也不要过于悲观，人工智能并不能无监督的模式下发展出涌现的能力，就现在的成果来看，它带着非常明显的西方普世价值观，掌握的绝大部分是英语世界的知识（英语占92%以上），并且是截止过去某个时点的知识，而在一些国家明确禁止接入的情况下，知识的获取也可能存在问题，没有最广泛的知识，最新最全的知识，就无法给出最合理最新的回答。总的来说，面向AIGC，不必恐慌，做马车升级到汽车的司机，让自己成为具体独到的洞察和见解，并利用AIGC为自己服务，利用好这次变革，成为一个会使用AIGC的人，而不是被AIGC所取代。
2023-05-11 16:30:17
179
原创 AIGC的趋势
人类的需求本身就是综合的，一个场景会涉及多个模态的组合，最终生成一个结果。最后是MLLM的场景融合应用，交互体验发生了变化，生态框架进行了重构，最终解决人类需求的就是多模态组合的成果生成，只有真正做到融合，才能完整的解决客户的一个一个客户需求，才能达到终极的目标，不仅仅是对话、文本、还有图片、视频、推理等。我想信，通过上述不断的创新和演进，最终就会达到陆奇说的从信息系统到模型系统到行动系统的真正构建，实现从信息化到知识化到自主化的演进，让我们拥抱AIGC，积极探索、积极创新，改造世界。
2023-05-11 16:30:01
179
原创 支持软件快速交付的高效能团队组织架构模式
目录：一、团队即交付二、流式设计团队拓扑&改进团队交互来促进创新和快速交付三、应用实践和持续改进，保持上升趋势一、团队即交付1、高效能交付团队的特征和问题增强：包括但不限于以下示例：1）高度工程能力成熟度（持续集成、持续交付）；2）强有力且稳定的支持系统；3）无须创建应用基础设施；4）SRE可扩展性的应用事实；5）稳定的团队、高效的协同；降低：包括但不限于以下示例：1）经常换团队；2）目标不一致；3）技术栈太多；4）避免单一职能人员
2022-10-21 10:50:50
838
原创 StarRocks4种数据模型如何在不同场景中实践
SR的表模型提供了4种不同的数据模型，具体为明细模型、聚合模型、更新模型、主键模型，4种模型如何选择应用，请看详细介绍
2022-10-21 10:50:08
1827
原创 如何应用6种领导风格提升领导力
结论：综合6种领导风格的特点、适应场景、优缺点，命令和标杆应该尽量少用，综合民主、亲和、教练、愿景型的4种方式，在不同场景下使用不同的领导风格，提升团队能力和绩效，打造自己的领导力。
2022-10-19 12:06:04
232
原创 聊聊开源的那些事
开源闭源2种软件模式，在不同的领域和地区有比较成功的表现，早期的软件以闭源为特征，比如Windows、绝大部分的应用软件。随着软件不断的发展和要求提高，一些开源软件展露头角，取得了巨大的成功，比如Liunx、Android、MySql等。那开源和闭源具体是怎样发展的，为什么会出现2种截然不同的模式，又会走向何方，接下来就简单聊聊。...
2022-08-10 15:15:49
191
原创 Gartner2022技术趋势理解
21年11月份，Gartner发布了2022的技术趋势，一时引起了不小的关注。最近有需要就重新学习了一遍，有些理解，可大家分享。先看一下Gartner调研成果，基于调查结果认为，支撑各类企业数字化转型的12大技术趋势包括，线上有很多的表述，在这里简单罗列一下：1）Enginerring Trust（工程信任领域）：Data Fabric(数据编织)、Cloud-Native Platforms(云原生平台)、Privacy-Enhancing Computation(隐私增强计算)、Cybersec
2021-12-04 12:40:25
1819
原创 如何选择大数据存储查询引擎
目录：1、从需求说起2、救星OlAP3、新的问题，高并发随着大数据技术的成熟，涌现了非常多的成熟框架和技术，在大数据存储查询引擎方面也有非常多的优秀产品。为什么出现这么多的优秀产品，为什么不是一款功能非常全面的产品，一劳永逸地解决所有问题呢？下面来看看结合实际的应用情况的分析结论。1、从需求说起SAAS软件模式+微服务的架构，最终导致数据分散在每一个DB中，每个DB对应1个或多个领域，数据分散带来的问题就是无法跨领域去进行分析和统计；由于团队独立，产品规划也可能没有整体考虑业
2021-11-15 10:29:21
308
原创 如何做好项目管理
目录：1、项目管理知识体系2、收获感受作为老师，对刚升为团队管理的管理者进行了辅导，通过与大家的交流反馈，对于项目管理实践有了更加丰富的了解，确实不同的管理者有不同的风格，也会有很多很好的实践值得学习。简单总结了一下，希望对大家有些许的帮助。从2个方面介绍下，具体为知识体系、收获感受。1、项目管理知识体系：团队管理者是需要带领一帮人去攻城拔寨，以优秀的成果去满足客户的实际需求，让客户满意。其中有一个核心的能力就是项目管理能力，如何把一个客户需求，高效、高质量的交付到客户手上，
2021-10-18 18:37:13
105
原创 大数据实时（7）-如何构建FLink实时平台
目录：1、场景痛点2、实时平台建设方案3、FlinkSQL开发平台4、展望1、场景痛点对于一个实时要求很高的业务领域，实时是非常重要的。分析下来场景问题差别不大，比如之前某一款产品解决的实时场景包括实时数仓、加速查询、联邦查询。今天说的场景也大同小异，包括以下几个方面：1）实时数仓：针对行业日志，进行数据处理并提供高可用的即席查询服务，同时针对离线数仓，进行实效性的补充，提供更加实时的分析服务；3）实时监控：实时开始最核心的场景就是监控，后来才应用于业务相关的实时处理，所
2021-10-12 18:05:15
413
原创 21年国庆小记
国庆没有安排远行，宅在家里读了几本书，收获还是蛮多的。分别是《芙蓉镇》、《尘埃落定》、《曾国藩领导力十二讲》、《深度转变》、《打开：100西方哲学课》、《剧变》、《秦腔》，前4本读完了，后3本也差不多读完了。文学比较多，一个故事、一段人生、一种体验，非常棒。比如《芙蓉镇》，在一个混乱的时代，人性是复杂的，世事是无常的，不仅仅是身体上的折磨，精神上亦无情的审判。每个人的性格色彩丰富，看到了极左路线的危害，在政治、思想、生活造成的破坏非常大。李国香整人与被整，不敢爱不敢恨，对比下来胡玉音、秦书田虽然
2021-10-10 21:28:00
75
原创 大数据实时（6）-事件驱动之埋点
目录：1、背景2、问题3、方案1、背景随着推荐等营销场景的增多，不断地深入应用，对于客户行为日志的收集、分析、整理、预测的需求越来越多。如何收集信息，目前有很多的方案，也有很多的实践。不同的公司也有不同的策略及应用场景，所处的水平也不一样。但是对于问题，对于诉求是一致的，那就是如何快速、有效、准确收集到行业日志数据。只有有了这些数据，才是最基础的，否则就是无源之水，无米之炊。近期也在参与一个项目的相关事项，有些想法，在此与大家分享。2、问题先从现状来看，当前的问题
2021-09-27 15:54:06
4031
原创 大数据实时（5）-Hologres实时数仓验证
目录：1、Hologres2、技术架构3、适用场景4、验证1、Hologres阿里的Hologres推出后，受到了很多关注，以几个方面的因素：1）Hologres作为MPP架构的一款大数据存储分析引擎，提供了很好的性能支撑；2）确实是解决了很多客户的问题，有一些大数据高并发的场景也能适用；3）是相较于ADB的产品，从官方资料方面，确实有很多的提升，但验证的结果如何，还是各有千秋；我们来看看官方的介绍：Hologres是阿里巴巴自主研发的一款交互式分析产品，兼容
2021-09-14 09:23:24
633
原创 大数据分析引擎-Doris简要介绍
目录：1、背景2、Doris的架构3、Doris的核心特性4、数据的导入和输出1、背景大数据的时代，数据的处理能力大大增强，但在最后一个环节，即数据应用服务环节依然存在较大的瓶颈。原来业务数据库时代，高并发、高灵活性是一个矛盾体，如何让一线在灵活定制分析SQL时候，虽然拖拉拽生成了不忍直视的SQL，但希望查询引擎依旧可以保持强劲的性能指标，不管是并发度还是查询时间都能让客户满意，是蛮有挑战的一件事情。目前的查询分析非常多，并且还在不断的涌现出来，引擎层出不穷，各有优势也有
2021-08-24 14:09:47
3323
原创 大数据实时（4）-YJD的Flink&Hologres的实时数仓补足
目录：1、场景与痛点2、技术选型3、应用最佳实践1）客户系统实践2）大屏实践3）实时数仓实践4、思考1、场景与痛点一家快速成长的公司，在短期内发展起来时，技术方面都会留下一些问题，比如从大单体到微服务的转型，从选型到落地，有时为了快速满足业务的需求，会采用一些临时方案满足客户要求，造成一些临时方案遗留症。比如：架构方面：多种数据源、多语言、多布式、异构系统、业务侵入严重，多种架构带来的复杂性；数据方面：按场景化的...
2021-08-23 10:08:05
258
原创 大数据实时（3）-BK事件驱动解决方案
目录：1、何为事件驱动，与实时分析的区别是什么2、支持什么样的需求场景、背景是什么3、平台架构4、功能介绍5、未来规划1、何为事件驱动，与实时分析的区别是什么以前实时大多处理的是数据分析类型的场景，随着业务的不断增长，特别是行为日志采集后进行实时的预测、推广的场景广泛应用，事件驱动型的类型场景越来越多。行为日志的数据特别大，叠加实时的场景应用，对于性能、稳定性、实时的要求特别高。事件驱动的技术恰好可以解决这类场景人诉求，通过事件流与外部系统的交互的技术支撑非事件驱动莫
2021-08-19 10:03:36
218
原创 大数据实时（2）-BK的Flink实时数仓实践
1、发展历史从业务团队和大数据团队烟囱式的开发，到构建大数据平台，18年开始行动，速度还是可以的。18年Flink不太成熟，使用Sparkstreaming属于正常的选择范畴，同时，构建了任务调度平台+SQL开发平台，降低开发难度，提升开发效率，是一个不错的选择。随着任务增大，对于延迟、状态的管理、多任务的稳定性都有非常大的挑战，19年转向Flink，社区非常活跃，成果也非常多。在FLink的基础上，基于之前的SQL平台功能，基于Flink1.8 快速构建了SQL2.0的功能，从此开启了实时数仓
2021-08-18 10:36:14
339
原创 大数据实时（1）-KS的FLink实践
大数据实时学习笔记1、应用场景分为4类场景，包括核心数据大屏、活动实时指标、运营体系看板、搜索广告实时；1）核心数据大屏：包括公司经营情况的一些大盘数据，移动版数据，最重要的是实时的核心日报。所谓核心即真正能体现价值的数据，也可以说与战略、生死无关的指标，都不能叫做核心指标。在日报中体现最重要的核心指标，并实时出来，才是有价值。2）活动实时：提供常规的移动端活动核心数据和活动模板的看板。但最有价值的应该是活动大屏，比如大型活动，比如春晚、双十一等特别日期的一些活动，需要关注整体的指标，也有分
2021-08-17 11:53:56
159
原创 DevOps（5）灰度
缘起：今天介绍一下支撑可用性目标的一个实践，即灰度。给客户交付需求过程，最担心的是交付需求时，系统问题导致不可用，宕机造成事故的情况出现。造成事故的问题可能有很多，配置问题、代码问题、服务器问题等，任意环节都有可能出现的问题。如何在这个过程中保证质量常规的方式可能是配置自动化、增加内建质量加强系统的稳定性、增加服务器冗余等等策略。这些措施确实可以缓解事故出现的可能性，但不能彻底解决问题，特别是SAAS系统，上万客户如何保证使用的稳定是每个SAAS企业需要解决的问题。既然无法保证没有问
2021-08-16 09:44:45
220
原创 2021GIAC心得一二
今年的2021GIAC受疫情影响，延期了一个多月，有4场的现场分享改为了线上分享，也是由于疫情第二次突然升级造成的。正如举办方所介绍的，延期一个月，留给老师的准备时间也充分了一些，本次分享的议题符合前沿技术和核心痛点的诉求，是符合预期的。由于要担任讲师，并没有全程听完感兴趣的分享，重点集中在架构和大数据2个维度，收获颇多，简单总结几点给大家分享一下：1、技术管理之技术人的成长；2、大数据之AI、数据湖、数据中台；3、架构之基于有损服务的稳定性保障机制，...
2021-08-11 09:47:49
131
原创 Devops（1）对研发效能的价值
DevOps提了很多年了，每个公司每个人都有不同的理解，大部分是拥抱的，毕竟整个体系构建下来确实能为我们带来很大的价值。具体是什么价值，好像很难有一个清晰、明确的结论，或者是量化的一个指标。个人感觉不同的应用模式会带来不同的体验，体验过后，有了深切体会，才能真正知道价值所在。结合最近几年的实践应用，感觉在效率、质量、持续改进&文化等几个维度有些收获，在此给大家分享：效率：效率最容易感受的到的地方。首先是对于开发、测试人员的实际的帮助，以往的通宵发布、夜不归宿的日子一去不复
2021-07-18 22:38:34
694
原创 DevOps（2）如何即快又稳的交付需求
之前介绍了DevOps的研发效能整体价值，包括效率、质量、持续改进的文化等方面；同时，针对DevOps实践，比如分支模型、多泳道、灰度、内建质量、度量、运维，也有一些概念性的输入。在展开具体各阶段实践前，让我们看看DevOps的目的。整体来说，DevOps是解决研发内部及研发运维间的效率和质量的工程技术，不同的公司有不同的实践。因此，DevOps的目的就是解决研发的效率和质量，以提升产研的效能。结合目前的实践，核心领域主要是CICD的范畴，解决的是如何即快又稳的交付满足客户期望的需求。
2021-07-18 22:37:45
208
原创 DevOps（3）何为流式开发？
本来这次是要介绍分支模型的，但由于最近针对流式开发有一些思考，所以插入了这篇分享。具体是在内部分享主题为《流式开发模式下的DevOps实践》内容时有位同学提了一个问题，流式开发是什么？与敏捷开发有什么区别？之前感觉一直就是这样做的，没有系统思考过这个问题，当时回答的也不系统，也不是非常的清晰。分享完毕后，重新思考了一下，感觉有点价值，就写了下来。首先是流式开发是什么？流式开发即在软件开发过程中，需求、开发、测试、部署、发布的过程是不等待的，不需要像迭代开发的模式一样，发布日的时候才会
2021-07-18 22:36:38
166
原创 DevOps（4）之分支模型
之前介绍了DevOps的研发效能整体价值，包括效率、质量、持续改进的文化等方面；同时，针对DevOps实践，比如分支模型、多泳道、灰度、内建质量、度量、运维，也有一些概念性的输入。接下来针对分支模型进行一个展开，从背景、常见分支模型、分支模型实践方案等方面说明。背景：分支模型应该说是DevOps中CI的一个最基础的技术实践，是CI的基座，其他的应用实践基本上是基于分支模型进行展开。直接影响的是整个流水线，一般有整体流水线，在一个整体流水线中，包括多个子流水线，比如开发流水线、特性..
2021-07-18 22:35:10
1116
原创 思考方式：间谍思考失与得
最近对于思考，有了很大的兴趣，一方面是因为个人在思考方面比较欠缺，另一方面从个人素质模型来看这块短板必须要有突破，否则后续的道路会非常荆棘从生。为了一个美好的未来，为了更好的人生，都是有无条件都要上的。 思考其实有很多种类型，普通人解决问题的思考模式，管理者的系统思维模式，间谍的联系场景模式等等不一而足。每一种思考都会对人有促进，都会让你变的更好。 间谍的思考模式应...
2018-04-19 16:15:45
172
原创 第5项修炼学习笔记：五项修炼系统思考强思维
第5项修炼一书是主要是希望公司创立一个学习型组织，让业绩、愿意得以实现，促进公司组织的成功。 本书书名虽然是第5项修炼，但并不是只讲了第5项修炼，而是自我超越、心智模式、建立共同愿景、团队共同学习、系统思考5个方面进行了系统阐述，尤其是重点强调了第5项系统思考的重要性，系统思考从局部到整体，全局的思考角度得到的结论将完全不一样，直接影响结果的产生和影响力。 首先是自...
2018-04-19 16:15:32
3907
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人