- 博客(22)
- 收藏
- 关注
RSS订阅转载 深入理解 Flink 容错机制
作为分布式系统，尤其是对延迟敏感的实时计算引擎，Apache Flink 需要有强大的容错机制，以确保在出现机器故障或网络分区等不可预知的问题时可以快速自动恢复并依旧能产生准确的计算结果。事实上，Flink 有一套先进的快照机制来持久化作业状态[1]，确保中间数据不会丢失，这通常需要和错误恢复机制（作业重启策略或 failover 策略）配合使用。在遇到错误时，Flink 作业会根据重启策略自动重启并从最近一个成功的快照（checkpoint）恢复状态。合适的重启策略可以减少作业不可用时间和避免人工介入处理
2020-08-31 14:51:37
490
原创 kafka的使用思考
案例分析处理kafka consumer的程序的时候，发现如下错误： 1 2 3 4 5 6 7 8 9 10 ERROR [2016-07-22 07:16:02,466] com.flow.kafka.consumer.main.KafkaConsumer: Unexpected Error Occurred ! kafka.common.MessageSizeTooLargeExcept
2020-08-28 11:58:38
145
转载 防火墙白名单的配置和端口开放
Firewalld 是可用于许多 Linux 发行版的防火墙管理解决方案，它充当 Linux 内核提供的 iptables 数据包过滤系统的前端。在本教程中，介绍如何为服务器设置防火墙，并使用 firewall-cmd 管理工具来管理防火墙添加 IP 白名单。Firewalld 中的基本概念区域(zone)区域(zone)基本上是一组规则，它们决定了允许哪些流量，具体取决于你对计算机所连接的网络的信任程度。为网络接口分配了一个区域，以指示防火墙应允许的行为。Firewalld 一般已经默认内
2020-08-25 10:52:47
7168
1
原创 flink在Linux的运行方式
普通的jar：主类入口是普通的类，监控kafka，但是里面又创建了flink批环境nohup java -jar -Xmx8192m -Xms2048m k4.jar &flink jar：主类就是flink的入库监控bin/flink run -m yarn-cluster -p 3 -c flinkonkafka-yjm 2048m -ytm 8192m /test/flink_test.jar报错：Flink Could not resolve substitutio...
2020-08-24 14:58:10
1312
原创 IDEA无法加载引入的类，com包下的都无法加载
今天写了一个类后，发现运行的时候，com包下的所有类都无法加载就是在同个项目里的，只要不在com包下的都无法引入另一个com包下的类，后来百度了很多，大多数说是清理缓存，我重新从git上导入项目还是不行，后来发现是新写得类有个package com.linys.scala.KAFKA_consumer 的引入。去掉之后就可以正常引入了，然后清理一下缓存。解决办法:清理一下缓存:File->Invalidate Caches/Restart...OVER!...
2020-08-20 14:39:20
1096
转载 Redis我们应该知道的
关于的知识点总结成了思维导图1、什么是 Redis?Redis 是完全开源免费的，遵守 BSD 协议，是一个高性能的 key-value 数据库。Redis 与其他 key - value 缓存产品有以下三个特点：（1）Redis 支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。（2）Redis 不仅仅支持简单的 key-value 类型的...
2020-08-18 15:19:52
248
转载 连接池的对比
一、.背景介绍什么是连接池1)先讲一下“池”， 池(Pool)技术在一定程度上可以明显优化服务器应用程序的性能，提高程序执行效率和降低系统资源开销。这里所说的池是一种广义上的池，比如数据库连接池、线程池、内存池、对象池等。其中，对象池可以看成保存对象的容器，在进程初始化时创建一定数量的对象。需要时直接从池中取出一个空闲对象，用完后并不直接释放掉对象，而是再放到对象池中以方便下一次对象请求可以直接复用。其他几种池的设计思想也是如此，池技术的优势是，可以消除对象创建所带来的延迟，从而提高系统的性能。为
2020-08-18 15:15:36
346
原创 Gson中的API在Scala中的实现
Scala 中处理json1. Lift-json2. Gson3. Json4s4. spray-jso但是发现Fastjson不能再用了，存在安全漏洞。fastjson采用黑白名单的方法来防御反序列化漏洞，导致当黑客不断发掘新的反序列化Gadgets类时，在autoType关闭的情况下仍然可能可以绕过黑白名单防御机制，造成远程命令执行漏洞。经研究，该漏洞利用门槛较低，可绕过autoType限制，风险影响较大。阿里云应急响应中心提醒fastjson用户尽快采取安全措施阻止漏洞攻击。
2020-08-17 16:57:37
617
转载 解决zookeeper集群重启 Error contacting service. It is probably not running 问题
一 问题出现情形1 集群启动后异常关闭，重启出错2 集群未正常启动二 查看zookeeper.out分析原因 cat zookeeper.out 1 网络问题。排查防火墙 java.net.NoRouteToHostException: 没有到主机的路由 (Host unreachable) at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlain.
2020-08-14 14:36:38
1997
原创 kernel:NMI watchdog: BUG: soft lockup - CPU#6 stuck for 28s!
运行一段时间后，部分节点会重启，然后报错如下，加入配置kernel:NMI watchdog: BUG: soft lockup - CPU#6 stuck for 28s! CentOS7linux中内核被锁死环境说明：虚拟机 CentOS7中解压一个8G的包时，内核报错Message from syslogd@cosmo-01 at Apr 25 11:05:59 ...kernel:NMI watchdog: BUG: soft lockup - CPU#6 stuck for 21
2020-08-12 16:11:55
1852
原创 YRAN调优
YRAN调优有三个方面 1. 群集配置,配置各主机 2. YARN配置,配置内存和CPU资源 MapReduce配置,为每个map和reduce任务分配最大和最小资源 二、Yarn工作节点配置优化方案 参考cloudera yarn-tuning-guide 工作节点配置如下: 工作节点内存和CPU规划 ARN NodeManager资源设置如下参数（这两个参数是NodeManager能分配的最大内存和最大cpu）yarn.nodemanager.resou
2020-08-12 14:17:35
254
原创 jar包本地运行正确，放到服务运行主类找不到
caused an exception during initialization: Invalid signature file digest for Manifest main attributes这是由于我们的项目每个人都改，提交到Git上可能有些同事把不需要的信息提价了，导致我们的jar打入依赖jar的时候，找不到了，需要我们加入一些过滤依赖信息。org.apache.flink.client.program.ProgramInvocationException: The program
2020-08-11 13:57:09
1812
原创 kafka集群安装
Kafka集群安装部署Kafka2.3.1+jdk1.8.0_131+zookeeper3.4.121.JDK的安装登录虚拟机进入终端切换到root用户，输入：su 接着输入密码 再输入：cd … 回到安装/opt目录查看Linux系统是否有自带的jdk： 输入：java -version 发现有输入：rpm -qa | grep java 检测jdk的安装包，（注意：rpm命令符没有时记得下载一个输入：apt-get install +命令名称） 接着进行一个个删除包，输入：rpm
2020-08-10 20:05:28
146
转载 flash一直提示要重新安装，都已经是最新的了，但是还要求更新
首先确认你确实有安装【Adobe Flash Player ActiveX 】 2 打开IE浏览器，点击【工具】选项 3 点击【Internet选项】 4 点击【高级】选项 5 把【等媒体】下面所有选项都打勾 6 点击【安全----自定义级别】选项 7 把【脚本】下所有项都【启用】，就可以了 END ...
2020-08-08 23:15:07
12571
原创 An input of GenericTypeInfo＜Row＞ cannot be converted to Table. Please specif
Flink DataStream[Row] 在创建表的时候会报错，需要我们提前指定类型，可以这么写val types = Array[TypeInformation[_]]( Types.STRING, Types.STRING, Types.STRING) val names = Array("ts_pf_yldrate_yldrate","ts_pf_bhmk_info_yldrate","ts_pf_yldrate_pf_id") imp.
2020-08-06 14:58:04
1121
转载 FlinkSQL读取Hbase数据
概述最近项目中用到flink进行实时计算，流程为从kafka读取数据，如果是维度数据，则插入到hbase中，如果是需要实时计算的数据，则进行实时计算，并将计算结果保存到MySQL中。在实时计算过程中，可能会用到hbase中的维度数据，为了开发的效率，使用flink-sql的方式实现。flink-sql是在flink流式计算的基础上进行了高度抽象，使开发过程更简单，更有效率，但要理解sql执行背后的原理还是需要仔细学习flink流式计算的相关内容。本文主要以flink-sql实现相关功能。假设需
2020-08-06 14:55:24
7004
1
原创 scala 反射
主要实现：java 实现反射:java反射需要继承序列化extends Serializable反射调用 scala class 中的函数val clazz = Class.forName("com.testclass") //构造一个需要反射类的对象 clazz //使用该对象去获取私有函数 .getDeclaredMethod(s"$函数名", classOf[String], classOf[String]) //并得到该函数入参的数据类型,如有多个入参,要声
2020-08-06 14:52:50
835
原创 Flink 之ProcessAllWindowFunction
package flinkonkafka.streamHbaseimport org.apache.flink.api.common.functions.FlatMapFunctionimport org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apach...
2020-08-06 13:14:31
2316
转载 Flink DataStream 算子
Flink DataStream Window 窗口函数 ReduceFunction、AggregateFunction、ProcessWindowFunctionWindow Function在窗口触发后，负责对窗口内的元素进行计算。Window Function分为两类: 增量聚合和全量聚合。增量聚合: 窗口不维护原始数据，只维护中间结果，每次基于中间结果和增量数据进行聚合。如:ReduceFunction、AggregateFunction。 全量聚合: 窗口需要维护全部原始数据，窗口触.
2020-08-05 15:52:20
197
原创 Flink参数调优设置
IllegalConfigurationException如果遇到从TaskExecutorProcessUtils抛出的IllegalConfigurationException异常，这通常说明您的配置参数中存在无效值（例如内存大小为负数、占比大于 1 等）或者配置冲突。 请根据异常信息，确认内存模型详解中与出错的内存部分对应章节的内容。OutOfMemoryError: Java heap space该异常说明 JVM 的堆空间过小。 可以通过增大总内存或任务堆内存的方法来增大 ...
2020-08-04 17:48:17
4662
1
原创 Flink任务请求一次后失败，task无限重启
在flink上提交任务的时候，获取Oracle的数据计算后可以正常回调，但是获取hbase的数据后，只能回调一次后，task就卡住了，最后通过修改元空间 增加启动yjm和ytm搞定jobmanage日志如下：7:45:11.443 TKD [main-EventThread] ERROR o.a.f.s.c.o.a.c.ConnectionState - Authentication failed17:45:20.998 TKD [flink-rest-server-netty-worker.
2020-08-04 17:31:27
2311
1
原创 scala 自带HTTP请求
scala 回调函数写法一：根据自己的scala版本号 导入依赖 <dependency> <groupId>org.scalaj</groupId> <artifactId>scalaj-http_2.12</artifactId> <version>2.4.1</version> </dependency>然后执行http请求即可，简单soeas.
2020-08-04 13:50:41
2625
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人