zhisheng_blog
码龄7年
  • 1,216,674
    被访问
  • 311
    原创
  • 1,255
    排名
  • 1,893
    粉丝
关注
提问 私信
  • 加入CSDN时间: 2015-09-06
博客简介:

http://www.54tianzhisheng.cn/

博客描述:
坑要一个个填,路要一步步走!我的新博客地址:http://www.54tianzhisheng.cn?csdn
查看详细资料
  • 5
    领奖
    总分 1,017 当月 59
个人成就
  • 博客专家认证
  • 获得785次点赞
  • 内容获得430次评论
  • 获得2,061次收藏
创作历程
  • 34篇
    2022年
  • 201篇
    2021年
  • 196篇
    2020年
  • 96篇
    2019年
  • 41篇
    2018年
  • 65篇
    2017年
  • 82篇
    2016年
  • 1篇
    2015年
成就勋章
TA的专栏
  • 大数据实时计算引擎 Flink 实战与性能优化
    付费
    72篇
  • java学习
    14篇
  • Mybatis学习
    4篇
  • Python相关文章
    9篇
  • 从0到1学习Flink
    19篇
  • java
    112篇
  • 项目
    3篇
  • 刷题题解
    16篇
  • 算法
    18篇
  • 励志文章
    4篇
  • 安卓
    2篇
  • 设计模式
    2篇
  • python
    12篇
  • 数据库
    4篇
  • mysql
    3篇
  • 计算机网络
    2篇
  • redis
    2篇
  • 数据结构
    24篇
  • 爬虫
    8篇
  • 面试
    8篇
  • 操作系统
    2篇
  • 正则表达式
    1篇
  • 智力题
    2篇
  • Ubuntu
    3篇
  • Linux
    3篇
  • SpringBoot
    14篇
  • 架构
    3篇
  • pyspider
    3篇
  • mysql
    1篇
  • github
    3篇
  • 个人网站
    3篇
  • jsp
    2篇
  • Mybatis
    5篇
  • Spring/Spring MVC
    7篇
  • Hibernate
    2篇
  • Bootstrap
    3篇
  • Oracle
    1篇
  • markdown
    1篇
  • jvm
    4篇
  • ajax
  • Velocity
    1篇
  • servlet
    1篇
  • 线程池
    1篇
  • elasticsearch
    10篇
  • lua
    1篇
  • maven
    2篇
  • HBase
    1篇
  • docker
    2篇
  • netty
    1篇
  • 前端
    1篇
  • hexo
    1篇
  • consul
    1篇
  • Kafka
    5篇
  • RabbitMQ
    1篇
  • RocketMQ
    4篇
  • 显示器
  • go
    1篇
  • Flink
    40篇
  • 大数据
    34篇
  • 流式计算
    34篇
兴趣领域 设置
  • 后端
    架构
我的微信
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Flink Table Store ——从计算到存储提升流批统一端到端用户体验

该项目用于在 Flink 中为流处理和批处理构建动态表,支持超大流量的数据提取和及时的数据查询。注意:该项目仍处于 beta 状态,正在快速发展,不建议直接在生产环境中使用它。Flink Table Store 介绍在过去的几年里,得益于 Flink 社区众多的贡献者和用户,Apache Flink 已经成为最好的分布式计算引擎之一,尤其是在大规模有状态流处理方面。然而,...
原创
发布博客 2022.05.12 ·
133 阅读 ·
0 点赞 ·
0 评论

Flink Iceberg Source 并行度推断源码解析

Flink Hive Source 并行度推断源码解析批读 IcebergIceberg 提供了两个配置:publicstaticfinalConfigOption<Boolean>TABLE_EXEC_ICEBERG_INFER_SOURCE_PARALLELISM=ConfigOptions.key("table.exec.iceberg....
原创
发布博客 2022.05.11 ·
186 阅读 ·
0 点赞 ·
0 评论

Flink Hive Source 并行度推断源码解析

批读 HiveHiveOptions 中有两个配置publicstaticfinalConfigOption<Boolean>TABLE_EXEC_HIVE_INFER_SOURCE_PARALLELISM=key("table.exec.hive.infer-source-parallelism")...
原创
发布博客 2022.05.10 ·
119 阅读 ·
0 点赞 ·
0 评论

Fastjson 2 来了,性能继续提升,还能再战十年

FASTJSON 2.0是FASTJSON项目的重要升级,目标是为下一个十年提供一个高性能的JSON库,同一套API支持JSON/JSONB两种协议,JSONPath是一等公民,支持全量解析和部分解析,支持Java服务端、客户端Android、大数据场景。FASJTONS2代码 https://github.com/alibaba/fastjson2/releases/t...
转载
发布博客 2022.04.23 ·
86 阅读 ·
0 点赞 ·
0 评论

Apache kudu在网易的实践

导读:Kudu作为一款新型分布式系统,能够实现在数据快速读写的同时,提供媲美HDFS顺序扫描的性能,是对大数据生态的补充,是构建实时数仓的一款利器。我们把kudu深度集成进了网易有数大数据平台,用来支持和构建网易云音乐和网易传媒的实时数据仓库。本次分享的主要内容是网易在使用kudu的一些实践经验。 ...
转载
发布博客 2022.04.19 ·
10 阅读 ·
0 点赞 ·
0 评论

开源大数据OLAP引擎最佳实践

本篇内容将通过六个部分来介绍开源大数据OLAP引擎最佳实践。一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样,不同种类的引擎满足了我们不同的需求。现在ROLAP计算存储一体的数据仓库主要有三种,即StarRocks(DorisDB),ClickHous...
转载
发布博客 2022.04.18 ·
69 阅读 ·
0 点赞 ·
0 评论

Kubernetes 架构核心点详细总结!

顶级的Kubernetes日志监控工具Kubernetes 集群需要重点关注的 6 个指标如何优雅的限制 Kubernetes 节点上运行的 Pod 数量容器与Pod到底有什么区别和联系?如何调试Kubernetes集群中的网络延迟问题新手必须知道的 Kubernetes 架构如何提高 Flink K8s 集群资源利用率?目录:一个目标:容器操作两地三中心四层服务发现五种...
转载
发布博客 2022.04.15 ·
34 阅读 ·
0 点赞 ·
0 评论

顶级的Kubernetes日志监控工具

Kubernetes 主导着容器编排市场,推动企业向微服务演进。微服务的每个实例都会生成大量日志事件,这些事件很快就会变得难以管理。但更复杂的是,当问题发生时,服务和故障模式之间的复杂交互使得很难找到根本原因。潜在的问题使 Kubernetes 日志管理工具变得非常重要。企业总是试图找到合适的工具来满足他们的需求,并使监控、日志记录和故障分析变得高效和快速。Zebrium...
转载
发布博客 2022.04.13 ·
31 阅读 ·
0 点赞 ·
0 评论

Kubernetes 集群需要重点关注的 6 个指标

如何提高 Flink K8s 集群资源利用率?新手必须知道的 Kubernetes 架构如何调试Kubernetes集群中的网络延迟问题如今行业中的公司似乎分为两个 Kubernetes 阵营:那些已经大量使用它来处理生产工作负载的公司,以及那些正在将其工作负载迁移到其中的公司。Kubernetes 的问题在于它不像 Redis RabbitMQ 或 PostgreSQL...
转载
发布博客 2022.04.11 ·
33 阅读 ·
0 点赞 ·
0 评论

如何优雅的限制 Kubernetes 节点上运行的 Pod 数量

如何调试Kubernetes集群中的网络延迟问题新手必须知道的 Kubernetes 架构如何提高 Flink K8s 集群资源利用率?1Node节点默认的 Pod 数量Kubernetes Node节点每个默认允许最多创建110个Pod,有时可能会由于系统硬件的问题,从而需要控制Node节点的Pod的运行数量。即:需要调整Node节点的最大可运行Pod数量。一般来说,我...
转载
发布博客 2022.04.10 ·
31 阅读 ·
0 点赞 ·
0 评论

容器与Pod到底有什么区别和联系?

容器本可以成为轻量级虚拟机的替代品。但是,由于 Docker/OCI 的标准化,最广泛使用的容器形式是每个容器只有一个进程服务。这种方法有很多优点——增加隔离性、简化水平扩展、更高的可重用性等。但是,它也有一个很大的缺点——正常情况下,虚拟(或物理)机器很少只运行一个服务。虽然 Docker 试图提供一些变通方法来创建多服务容器,但 Kubernetes 迈出了更大胆的一...
转载
发布博客 2022.04.07 ·
47 阅读 ·
0 点赞 ·
0 评论

如何调试Kubernetes集群中的网络延迟问题

本文深入研究和解决了 Kubernetes 平台上的服务零星延迟问题,就在不久前我也遇到了类似的问题,看似是玄学事件,刚开始归结于网络链路抖动,一段时间后依然存在,虽然影响都是 P99.99 以后的数据,但是扰人心智,最后通过多方面定位,解决了该问题。最后发现跟业务、网络都没有什么关系,而是基础设施自身出了问题,如下文给了一个具体排查方案,并从一定程度上解释了容器、cgr...
转载
发布博客 2022.04.06 ·
101 阅读 ·
0 点赞 ·
0 评论

新手必须知道的 Kubernetes 架构

控制平面组件ETCDetcd 是一个快速、分布式、一致的键值存储,用作持久存储 Kubernetes 对象数据(如 pod、replication controllers, secrets, services 等)的后备存储。实际上,etcd 是 Kubernetes 存储集群状态和元数据的唯一地方。唯一直接与 etcd 对话的组件是 Kubernetes API Ser...
转载
发布博客 2022.03.31 ·
41 阅读 ·
0 点赞 ·
0 评论

如何提高 Flink K8s 集群资源利用率?

问题在 Flink on K8s 默认提交作业的命令下,我们会指定作业的 JM/TM 的 CPU 和 Memory,最后作业生成的 pod 它的 CPU/Memory 的 request/limit 都是一样的资源,但是作业真实运行时使用的资源远达不到 limit 的值,这样就会造成机器资源浪费(水位不高,但是机器又不能再申请 pod)。比如下面命令:(指定了 TM 的资...
原创
发布博客 2022.03.30 ·
2145 阅读 ·
0 点赞 ·
0 评论

Flink SQL篇,SQL实操、Flink Hive、CEP、CDC、GateWay

Flink源码篇,作业提交流程、作业调度流程、作业内部转换流程图Flink核心篇,四大基石、容错机制、广播、反压、序列化、内存管理、资源管理Flink基础篇,基本概念、设计理念、架构模型、编程模型、常用算子1、Flink SQL有没有使用过?2、Flink被称作流批一体,从哪个版本开始,真正实现流批一体的?3、Flink SQL 使用哪种解析器?4、Calcite主要功能...
转载
发布博客 2022.03.24 ·
184 阅读 ·
0 点赞 ·
0 评论

Flink源码篇,作业提交流程、作业调度流程、作业内部转换流程图

Flink核心篇,四大基石、容错机制、广播、反压、序列化、内存管理、资源管理Flink基础篇,基本概念、设计理念、架构模型、编程模型、常用算子Flink源码篇,作业提交流程、作业调度流程、...
转载
发布博客 2022.03.21 ·
249 阅读 ·
0 点赞 ·
0 评论

Flink核心篇,四大基石、容错机制、广播、反压、序列化、内存管理、资源管理...

Flink基础篇,基本概念、设计理念、架构模型、编程模型、常用算子大纲:1、Flink的四大基石包含哪些?2、讲一下Flink的Time概念?3、介绍下Flink窗口,以及划分机制?4、介...
转载
发布博客 2022.03.11 ·
145 阅读 ·
1 点赞 ·
0 评论

美团集群调度系统的云原生实践

本文介绍了美团在如何解决大规模集群管理的难题、设计优秀且合理的集群调度系统方面的实践,阐述了美团在落地以Kubernetes为代表的云原生技术时,比较关心的问题、挑战以及对应的推进策略。同...
转载
发布博客 2022.03.08 ·
82 阅读 ·
0 点赞 ·
0 评论

Flink基础篇,基本概念、设计理念、架构模型、编程模型、常用算子

1、什么是Flink?简单描述下2、解释下其中的 数据流、流批一体、容错能力等概念?3、Flink 和 Spark Streaming的区别?4、Flink 的架构包含哪些?5、Flink...
转载
发布博客 2022.03.06 ·
92 阅读 ·
1 点赞 ·
0 评论

Flink CDC 2.0 实现原理剖析

图文详解CDC技术,看这一篇就够了!Flink CDC Connectors是 Apache Flink 的一组源端(Source)连接器,通过捕获变更数据(Change Data Ca...
转载
发布博客 2022.03.02 ·
239 阅读 ·
0 点赞 ·
0 评论
加载更多