![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 92
AuroraPetard
这个作者很懒,什么都没留下…
展开
-
flink的一些总结
Flink提交任务到yarn上面 不一定需要flink集群 只需要一个Flink环境即可 bin/flink run -m yarn-cluster 需要提前配置好hadoop路径 如果是CDH环境的话 在.bash_profile 设置 export HADOOP_CLASSPATH=`hadoop classpath `如果出现下面问题是因为 在 flink 1.11.1 版本中 ActiveResourceManagerFactory 的 createResourceManager()..原创 2021-08-07 16:22:19 · 1299 阅读 · 0 评论 -
关于flink watermark的一些理解
关于flink watermark的一些理解1 首先介绍flink中的时间概念:flink中有三种时间概念,分别是Event time、ingestion time、processing time从下图可以很方便的看出来eventTime 指的是事件本身的固有属性,是包含在数据之中的(比如事件发生的时间戳,事件本身被生产的时间),经常用到,尤其是后面搭配window处理乱序事件inge...原创 2020-03-25 16:06:22 · 510 阅读 · 0 评论 -
nc netcat ncat 拒绝连接 connection refuse
期间做socket测试数据大概就是这么个样子nc -lk 999但是启动程序总是报错拒绝连接 connection refuseCaused by: java.net.ConnectException: Connection refused (Connection refused)让我很是不解,明明在垃圾windows就可以运行,到我大 linux 上就会拒绝连接???有...原创 2020-01-08 23:17:32 · 12731 阅读 · 0 评论 -
flink 的一些概念以及 watermarks 水位线
批处理类似的hadoop spark 等这一批的数据的全部处理完才进行到下一个节点,中间处理的部分数据会被放到磁盘或内存cache流处理如 storm flink(blink) sparkstreaming(严格意义来说不算,只是时间很小,mini-batch模拟流) 当前一个节点处理一条数据后,后一个节点接着就把数据给拉取进行处理,而flink(blink) 可谓是集大成者,...原创 2019-03-19 23:39:22 · 1744 阅读 · 0 评论 -
测试flink shell 模式出现 java.lang.NumberFormatException: For input string: "0x100"
终端一些样式格式的问题解决办法如下,治标不治本export TERM=xterm-color ; start-scala-shell.sh local(或者可以直接更改启动脚本将这一句 export TERM=xterm-color 添加到脚本里面)同样的类似于start-dfs.sh 可以在里面添加systemctl start ssh mysqlflink sh...原创 2019-03-20 21:57:43 · 1157 阅读 · 1 评论 -
flink 的一些概念二
flink standolone 模式配置在 conf/flink-conf.yaml 中 jobmanager.rpc.address: 10.0.0.1slave中 添加 从节点的ip start-cluster.sh一些调优的参数the amount of available memory per JobManager (jobmanager.heap.mb), th...原创 2019-03-21 12:34:32 · 189 阅读 · 0 评论 -
flink 第一错 No implicits found for parameter evidence$2: TypeInformation[(String, String, String)]
原因是因为没有加隐式转换 ,implicit 这点感觉flink很不好,不像spark都有详细解释解决办法加上 import org.apache.flink.api.scala._spark多次强调要加上这个,而flink根本就没有提到,!!!...原创 2019-03-18 14:45:39 · 1333 阅读 · 0 评论