- 博客(9)
- 资源 (12)
- 收藏
- 关注
原创 flink实战--读写Hbase
简介 在Flink文档中,提供connector读取源数据和把处理结果存储到外部系统中。但是没有提供数据库的connector,如果要读写数据库,官网给出了异步IO(Asynchronous I/O)专门用于访问外部数据,详细可看:https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/stream/o...
2019-01-18 19:07:18 8184 35
原创 flink实战--flink集群的搭建与部署
flink实战案例一:flink集群的搭建与部署1.下载Flink压缩包下载地址:http://flink.apache.org/downloads.html根据集群环境的情况下载相应的版本的flink压缩包hadoop2.6,Scala2.11,所以下载:flink-1.5.0-bin-hadoop26-scala_2.11.tgz解压tar -zxf flink-1.5.0-bi...
2019-01-17 16:44:09 14828
原创 spark将数据写入ES(ElasticSearch)终极总结
简介spark接入ES可以使用多种方式,常见类型如下。将Map对象写入ElasticSearch 将case class 类对象写入ElasticSearch 将Json的字符串写入ElasticSearch本文主要介绍将case class 类对象写入ElasticSearch:也就是获取数据然后使用case class封装数据,然后在case class中选取一个字段当做 id,...
2019-01-09 13:11:47 31488 19
原创 flink实战--UDF
简介 UDF可以帮助我们极大地扩展了查询的表达能力,flink Sql自定义函数(UDF)和spark Sql 自定义函数原理是一样的,主要步骤无非就是,注册函数,自定义函数类实现flink自带的接口函数。和spark的UDF对比着来 ,下面介绍具体实现步骤。UDF的分类和定义UDF(User-Defined-Function)一进一出。 UDAF(User-...
2019-01-19 18:19:33 5711 2
原创 flink实战--资源分配与并行度(runtime)
简介 Flink运行时主要角色有两个:JobManager和TaskManager,无论是standalone集群,flink on yarn都是要启动这两个角色。JobManager主要是负责接受客户端的job,调度job,协调checkpoint等。TaskManager执行具体的Task。TaskManager为了对资源进行隔离和增加允许的task数,引入了slot的.........
2019-01-17 19:13:30 11741 10
原创 flink实战--DataSteam API终极总结
DataStream简介 DataStream是flink实时流处理的基本数据模型,DataSet是flink批处理的数据模型。本文主要介绍DataStream,在flink的实时流处理中,所有的流对象都会继承DataStrem这个类。DataStream在实际转换(算子)处理中也会被处理成下面的五个流对象,这几个流对象除了拥有共同的方法外还有自己独有的方法,下面将一一介绍D...
2019-01-15 15:53:56 1786 2
原创 flink实战--数据写入redis(redisSink)
简介 通过flink操作redis其实我们可以通过传统的redis连接池Jpools进行redis的相关操作,但是flink提供了专门操作redis的Redis Sink,使用起来更方便,而且不用我们考虑性能的问题,接下来将主要介绍Redis Sink如何使用。RedisSink简介Redis Sink 提供用于向Redis发送数据的接口的类。接收器可以使用三...
2019-01-14 13:10:21 15944 2
原创 spark的反压与推测机制
反压背景在默认情况下,Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time > batch interval 的时候,也就是每个批次数据处理的时间要比SparkStreaming 批处理间隔时间长;越来越多的数据被接收,但是数据的处理速度没有跟上,导致系统开始出现数据堆...
2019-01-09 20:35:32 1451 2
原创 es(Elasticsearch) -- 入门指南
简介ES=elaticsearch简写, Elasticsearch是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。本质上是一个分布式nosql数据库,允许多台服务器协同工作,每台服务器可以运行多个 Elastic 实例。单个 Elastic 实例称为一个节点(node)。一组节点构成一个集群(cluster......
2019-01-08 14:48:28 34148
flink-connector-jdbc_2.11-1.11.2.jar
2021-02-24
flink需要的jersey-core和jersey-client
2019-03-01
基于SSM框架开发的共享单车管理系统
2018-06-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人