A coder of life

记录bug人生

Alibaba Cloud ToolKit使用

Alibaba Cloud ToolKit可以帮助开发者在IDE中将本地应用程序一键部署到阿里云服务器或自有服务器上,可以在IDE中打开服务器的命令行终端,可以直接上传文件到服务器上,使用该toolkit做开发调试非常的方便,官网给出该toolkit包含三大功能: 1.应用部署 2.内置终端T...

2019-01-11 19:14:49

阅读数 224

评论数 0

Flink状态计算实例与状态数据恢复(checkpoint)

状态计算,简单的理解是本次计算依赖于之前的计算结果,比如,根据key计算求和值,如: key  value 1001,3000-------------(1001,3000) 1002,500--------------(1002,500) 1001,400--------------(...

2019-01-10 11:37:54

阅读数 100

评论数 0

maven jar冲突依赖总结(持续更新......)

1.logback和slf4j-log4j12冲突 使用logback作为日志框架,要排除掉slf4j-log4j12包(可能没有引入该包,但是引入的其他包的依赖中包含),两者有冲突,比如hive-jdbc中就包含该包,需要排除。 <dependency&...

2018-12-04 10:40:49

阅读数 36

评论数 0

impala JDBC报错:[Simba][ImpalaJDBCDriver](500323) Error processing query translation statement.

impala JDBC连接impala表(impala和kudu关联表)进行upsert,delete操作,upsert操作没有任何问题,但是delete操作报错,完整错误如下: [Simba][ImpalaJDBCDriver](500323) Error processing query ...

2018-11-29 11:35:35

阅读数 263

评论数 0

Apache Flink-编程指南-项目设置

Java项目模板 前提条件:Maven3.0.4或更高,Java8 使用如下命令创建Maven项目: $ mvn archetype:generate \ -DarchetypeGroupId=org.apac...

2018-11-08 15:27:51

阅读数 109

评论数 0

Apache Flink-编程指南-示例-批处理

本文将会看到图算法和简单的单词统计之间的不同,并展示了如何使用DataSet API。完整的源码可以在Flink的源码仓库中的flink-examples-batch或flink-examples-streaming中找到。 运行Flink程序你需要启动先启动一个Flink集群,最简单的方式是执...

2018-11-07 15:02:56

阅读数 60

评论数 0

Apache Flink-编程指南-示例-监控维基百科编辑流

维基百科有一个IRC通道记录了所有的编辑信息,本例是Flink通过读取该通道统计每个用户编辑的字节数。这个是一个非常简单的流分析应用,可在此基础上构建更加复杂的流处理。 配置Maven工程 使用Flink Maven Archetype创建工程,命令如下: $ mvn archetype:...

2018-11-06 16:01:30

阅读数 74

评论数 0

Apache Flink-编程指南-示例

Java工程样例和Scala工程样例可以引导配置maven或SBT工程并且包含了一个word count的简单实现。 监控维基百科是一个更加复杂流分析例子。 构建实时显示应用程序(使用Flink,ES,Kibana)可在elastic.co看到,展示了如何通过Flink,ES,Kibana构建...

2018-11-06 10:21:02

阅读数 69

评论数 0

Apache Flink-编程指南-快速开始

设置:下载和启动Flink 启动一个本地Flink集群 阅读代码 运行示例 下一步 设置: 下载和启动Flink Flink运行在Linux, Mac OS X, and Windows. 能够运行Flink唯一的要求是正确安装了java8.Windows用户,请看Flink on ...

2018-11-05 17:03:13

阅读数 142

评论数 0

Apache Flink-编程指南-概念-分布式运行环境

任务和操作链 Job Managers, Task Managers, Clients 任务槽和资源 状态后端 保存点 任务和操作链 在flink的分布式执行中,Flink把操作子任务链在一起形成任务。每一个任务由一个线程执行。把操作链接在一起成为任务是一个有用的优化:这样做会减少线程间...

2018-11-05 16:19:28

阅读数 82

评论数 0

Flink读写系列之-读Kafka并写入Kafka

读写Kafka比较简单,官方提供了connector,也提供了例子可以参看,官网例子的GitHub地址: https://github.com/apache/flink/tree/master/flink-examples/flink-examples-streaming/src/main/ja...

2018-10-22 10:56:57

阅读数 497

评论数 0

Flink读写系列之-读HBase并写入HBase

这里读HBase提供两种方式,一种是继承RichSourceFunction,重写父类方法,一种是实现OutputFormat接口,具体代码如下: 方式一:继承RichSourceFunction package com.my.flink.utils.streaming.hbase; im...

2018-10-22 10:37:36

阅读数 1124

评论数 0

Flink读写系列之-读mysql并写入mysql

在Flink文档中,提供connector读取源数据和把处理结果存储到外部系统中。但是没有提供数据库的connector,如果要读写数据库,官网给出了异步IO(Asynchronous I/O)专门用于访问外部数据,详细可看: https://ci.apache.org/projects/fli...

2018-10-19 14:48:59

阅读数 1418

评论数 0

Flink爬坑问题总结

一.隐式转换问题 错误:could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[String] 1.导入包 impor...

2018-10-19 11:30:34

阅读数 238

评论数 0

Apache Flink-编程指南-概念-编程模型

数据流编程模型 抽象层级 程序和数据流 并行数据流 窗口 事件 状态化计算 为容错的检查点 流之上的批处理 下一步 抽象层级 Flink为开发流/批处理应用程序提供不能层级的抽象。 最低级别的抽象简单提供状态化流处理。通过Process Function嵌入到Data...

2018-10-12 16:54:41

阅读数 102

评论数 0

Apache Flink-下载

下载 最新版本 (v1.6.1) 二进制 源码 版本信息 验证哈希和签名 Maven依赖 旧版本更新策略 所有文档版本 快照 (Nightly Builds) 最新稳定版本是1.6.1,hadoop安装不需要使用flink,用户使用flink也不需要任何hadoop依赖,...

2018-10-11 15:56:47

阅读数 137

评论数 0

Apache Flink-常见问答

通常以下问题在Flink项目中经常被问到。 如果有更多问题,请查询相关文档或在社区中提问。 目录:  Apache Flink只适用于(准)实时的应用场景吗? 如何一切都是流,为什么Flink中会存在DataStream API和DataSet API? Flink如何和Hadoop栈关...

2018-10-11 14:32:06

阅读数 53

评论数 0

Apache Flink-技术支持

Apache Flink为全球许多公司和企业的关键业务提供强有力支持,本页会列出一些运行着有趣的flink应用的知名用户,并给出链接,以便于查看细节。 更多的Flink用户列在维基百科的Powered by Flink directory下面,注意列表并不全面,我们仅仅把哪些要求列出的用户放上去...

2018-10-11 11:01:50

阅读数 31

评论数 0

Apache Flink-用户场景

   Apache Flink在需要运行各种类型的应用程序方面是个不错的选择,因为其具有丰富的特征集。Flink的特征包含了处理流和批处理,复杂的状态管理,事件时间处理语义和对状态的"正好一次"一致性保证。而且,Flink可以部署在不同的资源管理器之上,如YAR...

2018-10-10 21:38:55

阅读数 189

评论数 0

Apache Flink-什么是Apache Flink?

    Apache Flink是一个用于在有界和无界数据之上进行状态计算的分布式处理引擎和框架。其被设计出可以运行在所有常见的集群环境中,在任何规模之上进行内存计算。    下面,让我了解一下Flink架构的一些重要特性。 处理有界和无界数据     任何类型数据的都可以看成像事件流一样产...

2018-10-09 21:05:22

阅读数 63

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭