- 博客(2)
- 收藏
- 关注
RSS订阅原创 FLink反压机制
在说flink的反压之前，先来说下strom和spark streaming的反压。Strom 反压如图是strom的反压，是通过zookeeper来决定的，当strom感受到处理不过来的时候，就会像zookeeper增加一个znode，然后strom发现了这个znode，对应的上游数据就会阻塞，不会发送数据。Spark Streaming 反压Spark Streaming的反压是从1.5版本以后引入的。在这之前，基本就是通过控制最大接受速率来控制的。譬如，如果是基于Receiver形式，可以配
2021-01-05 21:54:06
1475
原创 Hadoop-3.1.3集群搭建详细过程
Hadoop运行环境搭建1.虚拟机环境准备1)准备一台模板虚拟机hadoop100，虚拟机配置要求如下： 备注：本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备[root@hadoop100 ~]# yum install -y epel-release[root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim lrzsz n
2020-08-16 16:21:07
1906
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人