github_31020161的博客

一种兼具低延迟和高吞吐能力，同时支持窗口计算、状态和恰好一次语义的计算引擎。流批一体。主要应用场景包括实时数仓、实时大屏、实时推荐、实时报表、实时风控和实时监控，当然还有其他一些应用场景。总之，实时计算的业务需求，一般都会用 Flink 进行开发。...

需求点同步数据源的连接数过多减少运维的复杂度，统一管理分布式调度，高可用一致性哈希，防止任务重复运行检查点机制，状态可恢复服务注册与发现数据一致性检验监控告警整体架构mysqletcdcanalmasterworkkafkaelasticsearch挑战同步延迟表结构变更任务热点...

动力K8S基础能力有保障。Flink 版本已升级至最新版。Flink On Yarn的不足。整体架构实时平台CICD(镜像构建)Flink On K8s(Ingress创建 Podtemplate)K8SLoggerMetricsAlerts网络模型KongnodePortIngress (ingress-controller+ingress)Pod状态存储HDFSOSS容量规划网络带宽任务热点DNS解析...

tcptcpdump异常请求分析来源iptcpdump -s 0 -A 'tcp dst port 9200 and tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x47455420'httptcpdump查看HTTP流量查看HTTP GET请求sudo tcpdump -s 0 -A 'tcp dst port 80 and tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x47455420'查

使用Redis实现分布式锁在不同线程以竞争方式操作共享资源时，分布式锁是非常有用的。分布式锁一般有三种实现方式：1. 数据库乐观锁；2. 基于Redis的分布式锁；3. 基于ZooKeeper的分布式锁。本博客基于Redis实现分布式锁。前提使用Jedis实现Redis客户端且Redis服务端单机部署参考https://redis.io/topics/distlockRedis分布式锁的正确实现

Vagrant介绍Vagrant 是一款通过简单的工作流来构建和管理虚拟机环境的工具。通过简单易用的工作流和完全自动化来降低开发环境的搭建实践、提高生产力和使“在我机器上好好的”成为过去。Vagrant安装安装VirtualBox 使用VirtualBox来搭建虚拟机，免费小巧。 Vagrant 支持 Vagrant和VMware安装Vagrant 从https://www.vagrant

写在前面的话工作了一段时间，一直在CSDN博客上学习，现在遇到不懂得就直接搜博客，CSDN博客已经成为了我学习的知识来源，最近一直思考如何记录自己的学习和生活，发现写博客会是一个不错的选择，从此不再潜水，用博客与大家分享。ZooKeeper的安装和配置从http://zookeeper.apache.org/下载需要的安装包，这里使用的是zookeeper-3.4.11.tar.gz保证Java运