- 博客(42)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Flink之watermark（水印）讲解
flink中watermark的详细介绍 使用前提： 处理数据开窗，处理数据的时间语义是事件时间，也就是每条数据产生的时间。 *使用场景（解决问题）： 处理乱序数据：flink中是实时处理数据，但是在处理数据的时候会出现因为网络传输的问题，所以数据先产生的反而到后面才到达，在被处理时候就会出现数据混乱，而且因为开窗，窗口关闭但是本窗口的数据来迟，导致数据丢失； 理想转态，数据按照顺序到达 则对应窗口可以获得的数据就是 每一个窗口都可以得到对应的数据 但实际数据到来的顺序可能会出现乱序： 则没有w
2021-03-08 22:17:29
2620
CDH大数据环境优化.docx
1.3.1 数据块优化
dfs.blocksize = 128M
文件以块为单位进行切分存储，块通常设置的比较大（最小6M，默认128M）,根据网络带宽计算最佳值。
块越大，寻址越快，读取效率越高，但同时由于MapReduce任务也是以块为最小单位来处理，所以太大的块不利于于对数据的并行处理。
一个文件至少占用一个块（如果一个1KB文件，占用一个块，但是占用空间还是1KB）
我们在读取HDFS上文件的时候，NameNode会去寻找block地址，寻址时间为传输时间的1%时，则为最佳状态。
目前磁盘的传输速度普遍为100MB/S
如果寻址时间约为10ms，则传输时间=10ms/0.01=1000ms=1s
如果传输时间为1S，传输速度为100MB/S，那么一秒钟我们就可以向HDFS传送100MB文件，设置块大小128M比较合适。
如果带宽为200MB/S，那么可以将block块大小设置为256M比较合适。
2021-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人