![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实时
文章平均质量分 93
福尔摩斯之无以伦比
这个作者很懒,什么都没留下…
展开
-
Flink 整合 Kafka (实现 Exactly-Once)
1.什么是Exactly-Once恰好处理一次的意思。不管在处理的时候是否有异常发生,计算的结果都一样。即使在发现机器或者软件故障时,都不会出现数据丢失以及重复处理的情况。(就是每条数据只会被处理一次)Flink 中哪些Source、Sink支持 Exactly-Once 呢,Flink官方文档(链接)为我们做了描述。如下图所示:Source:Sink:我们发现很多都是at least once(至少一次),我们可以基于幂等操作(幂等操作的特点是...转载 2021-01-07 11:04:02 · 1357 阅读 · 4 评论 -
Flink系列:自定义map Function
转载 2020-12-27 14:23:43 · 906 阅读 · 0 评论 -
flink深入研究(08) flink的StreamExecutionEnvironment.execute()函数调用过程02
上一篇我们讲到了ClosureCleaner的clean函数,这一篇我们继续往下分析,在clean函数中又调用了另外一个clean函数clean(func, level, checkSerializable, Collections.newSetFromMap(new IdentityHashMap<>()));代码如下: private static void clean(Object func, ExecutionConfig.ClosureCleanerLevel l...转载 2020-12-27 14:22:36 · 735 阅读 · 0 评论 -
JMeter篇01:JMeter在Mac下的安装
其实不论操作系统是Windows、Unix(如Mac OS)、Linux(如Ubuntu)等,JMeter所需要的基础环境配置都是类似的,本文介绍JMeter for MAC的安装与环境配置。JMeter安装步骤如下:安装JDK 安装JMeter1、选择版本截止2018年10月,JMeter的最新版本是5.0,JMeter 5.0需要Java 8、Java 9,所以我们最终选择的版本是:Java 8,下载地址,历史版本下载地址 JMeter 5.0,下载地址,历史版本下载地址2、安装转载 2020-12-02 14:19:52 · 315 阅读 · 0 评论 -
hbase 写入数据时value=\x00\x00\x00\x03问题解析
写hbase 的数据类型和读的数据类型不同例如:写进去是Int ,读的是string类型解决方法:读写的类型一致,如果写入数据类型需要由int 转化string ,不要用 .tostring,换成 String.valueOf(字段)原创 2020-11-30 17:41:47 · 1831 阅读 · 0 评论 -
flink 踩坑之旅
1.Flink 提交任务 java.lang.ClassCastException LinkedMap解决方法 在flink-yarn.yaml配置文件增加classloader.resolve-order:(空格)parent-first注意:需要增加在:和值之间增加空格原创 2020-11-19 16:19:32 · 369 阅读 · 2 评论 -
hbase org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permiss解决方法
hbase shell 创建表的时候提示org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permiss,原因是用户bigdata的用户没有权限登陆hbase shellgrant <user> <permissions> [<table> [<column family> [<column; qualifier>]]1.给用户授权g..原创 2020-11-18 17:53:16 · 2503 阅读 · 0 评论 -
Logstash could not be started because there is already another instance using the configured data di
Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the "path.data" setting.[2020-10-19T15:18:56,037][ERROR][org.logstash.Logstash ] java.l...原创 2020-10-19 15:22:42 · 454 阅读 · 0 评论