【分布式计算】
文章平均质量分 72
李乾文
十年
展开
-
Flink流批一体化处理框架(二)平台运行
前一篇文章讲述了用IDEA编写简单的Flink任务,并演示了流处理和批处理word count案例。本文讲解如何启动Flink单机模式,把任务代码打包并提交到Flink平台上运行。原创 2021-11-14 18:43:15 · 1979 阅读 · 0 评论 -
Flink流批一体化处理框架
一、简介Apache Flink 是一个框架和分布式处理引擎,支持实时流数据处理与离线数据批处理计算。用户案例有阿里、腾讯、华为、小米、滴滴、ebay、亚马逊等,比较知名的阿里双十一交易大屏实时展示技术就是建立在该框架之上。二、框架对比Spark Streaming是把流转化成一个个小的批来处理,Flink是把批当作一种有界的流。1、Storm是第一代流处理框架,数据吞吐量和延迟上表现不尽人意,而且在数据准确性方面也存在不足。2、Spark Streaming是第二代流处理框架,每次只能处理一小原创 2021-10-31 18:10:10 · 2060 阅读 · 0 评论 -
Hadoop HDFS Explorer连接Windows上的HDFS
HDFS Explorer连接HDFS有两种方式:1、Windows认证2、Hadoop用户认证原创 2016-09-28 15:22:00 · 2914 阅读 · 1 评论