![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 79
KledLi
这个作者很懒,什么都没留下…
展开
-
Flink 集群搭建,Standalone,集群部署,HA高可用部署
基础环境准备3台虚拟机配置无密码登录配置方法:https://ipooli.com/2020/04/linux_host/并且做好主机映射。下载Flinkhttps://www.apache.org/dyn/closer.lua/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz并解压缩部署Standalone Cluster 单机模式启动进入flink-1.10.1 文件夹内直接执行:./bin/start-cluster.s.原创 2020-06-22 17:31:05 · 919 阅读 · 0 评论 -
Flink Table Api & SQL 初体验,Blink的使用
概述Flink具有Table API和SQL-用于统一流和批处理。Table API是用于Scala和Java的语言集成查询API,它允许以非常直观的方式组合来自关系运算符(例如选择,过滤和联接)的查询。Flink的SQL支持基于实现SQL标准的Apache Calcite。无论输入是批处理输入(DataSet)还是流输入(DataStream),在两个接口中指定的查询都具有相同的语义并指定相同的结果。Table API和SQL尚未完成所有功能,正在积极开发中,支持程度需查看 官方文档使用多原创 2020-06-20 11:46:47 · 871 阅读 · 2 评论 -
Flink 如何分流数据
场景分流方式如何分流使用Filter分流使用Split分流使用Side Output分流场景获取流数据的时候,通常需要根据所需把流拆分出其他多个流,根据不同的流再去作相应的处理。举个例子:创建一个商品实时流,商品有季节标签,需要对不同标签的商品做统计处理,这个时候就需要把商品数据流根据季节标签分流。分流方式使用Filter分流使用Split分流使用Side Output分流如何分流先模拟一个实时的数据流import lombok.Data;@Datapub..原创 2020-06-11 18:08:53 · 1777 阅读 · 1 评论 -
kafka是什么?主要用在什么场景
1、kafka是什么?Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。2、产生背景Kafka是一个消息系统,用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页...转载 2020-04-25 14:00:08 · 10632 阅读 · 0 评论 -
大数据———Flume使用
1.什么是FlumeFLUME 是HADOOP生态圈中的一个组件。主要应用于实时数据的流处理,比如一旦有某事件触发(如本地交易引起的数据改动)可以将实时的日志数据发向HADOOP文件系统HDFS中FLUME 可以将数量庞大的数据从各项数据资源中集中起来存储的工具/服务,或者数集中机制。所以它还有较强的缓存作用.Flume具有较高的容错性。例如当收集数据的速度超过将写入数据的时候,即超过了原创 2018-01-16 15:07:11 · 2284 阅读 · 2 评论 -
什么是kafka?Kafka如何使用?(大数据-卡夫卡)
什么是卡夫卡官网介绍: - ApacheKafka®是一个分布式流媒体平台。这到底是什么意思呢?我们认为流媒体平台具有三个关键功能: 1. 它可以让你发布和订阅记录流。在这方面,它类似于消息队列或企业消息传递系统。 2. 它允许您以容错方式存储记录流。 3. 它可以让您在发生记录时处理记录流。几个概念:Kafka作为一个或多个服务器上的集群运行。Kafka集群以称为主题的类别存储记原创 2018-01-18 14:04:48 · 10467 阅读 · 1 评论 -
大数据———Flume与Kafka整合
环境配置 名称 版本 下载地址 Centos 7.0 64x 百度 Flume 1.8.0 http://flume.apache.org/download.html Kafka 2.11 http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz原创 2018-01-18 15:31:21 · 2166 阅读 · 0 评论