IT感悟
文章平均质量分 91
明哥的IT随笔
十四年IT老兵,十年外企经验(IBM+HP)。
在大数据上,历任过应用研发,集群运维,架构咨询等多种技术岗位,现任某公司大数据架构师。
热爱技术,喜欢学习,擅长各种线上问题的排查,解决和优化。
目前聚焦于泛大数据生态圈,包括大数据,数据库,云计算和人工智能。
展开
-
数据平台发展史-从数据仓库数据湖到数据湖仓
回顾数据平台发展历史,梳理数据平台变迁脉络,更全面准确地理解数据仓库数据湖和数据湖仓!原创 2022-09-20 18:09:50 · 2585 阅读 · 0 评论 -
Gartner 网络研讨会 “九问数字化转型” 会后感
Gartner 网络研讨会 “九问数字化转型” 会后感原创 2022-06-21 16:07:08 · 435 阅读 · 0 评论 -
盘点下近几年退役的顶级 Apache 大数据项目 - 继 Sentry,Sqoop 之后,Ambari 正式退役
盘点下近几年退役的顶级 Apache 大数据项目 - 继 Sentry,Sqoop 之后,Ambari 正式退役!1. Apache Ambari 正式退役正所谓几家欢乐几家愁,2022 年初,又一款顶级 Apache 大数据项目,正式宣告退役:Apache Ambari 于 2022-01 悄然宣布,项目不再维护,正式进入退役阶段!image笔者听闻该消息,恰逢虎年春节之际,虽然对 Ambari 的退役早有预期,但由于早年与 Ambari 颇有渊源,还是不免唏嘘一场!所以谨以一篇博文,纪念下 A原创 2022-02-07 16:20:47 · 1394 阅读 · 0 评论 -
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现前言大家好,我是明哥!在前段时间的一篇博文中,笔者分析了 flink standalone 模式且不能使用 hdfs 场景下的各种问题及其应对方案,当时明确指出,在只能使用本地文件系统的情况下,flink job manager 是没有办法做到 HA 高可用的,因为没有一个分布式共享存储来提供多个job manager需要共享的状态信息,如已经提交的作业的JobGraph等信息。所以以上场景对监控与报警机原创 2021-08-16 22:13:27 · 407 阅读 · 0 评论 -
从技术视角看大数据行业的发展趋势
点击上方蓝色“明哥的IT随笔”,关注并选择“设为星标”,跟明哥一起交流学习吧!keep striving!前言大家好,我是明哥!正所谓 “抬头看天,低头走路”,大数据从业者既要脚踏实地立足...原创 2021-07-30 18:59:00 · 530 阅读 · 0 评论