- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 【奇奇怪怪的bug】今天Flink程序又又挂了，来学学Task Failure Recovery补救补救
背景：目前的yarn集群比较少，在数据量大一点，运行资源不足的情况下经常会影响到实时程序（内心os：还不如搭个flink 集群得了跑啥on yarn嘛毕竟穷是原罪。。。，现在整天都要擦屁股。。。。。）心跳容器超时，也就是在规定的时间内TaskManager 无法为task 向JobManager申请到container 网络，cores，内存都有可能引起直接查看flink的重启策略是什么：点击dashborad=》Running Job =》Configuration默认重启策略，没开启chec
2020-08-28 23:31:40
1898
2
原创 【奇奇怪怪bug】Flink 1.10 on yarn ,application 在yarn 显示Running ，webui 显示Failed
今天产品气势汹汹的跑过来跟我说，生产环境的实时程序不对啊！！！！添加数据一直看不到展示开始不可能三连：1.不可能吧，早上还好端端的 2.不可能会出问题的，可能是网络延迟 3.不可能出不来啊，是不是你没清缓存，你清缓存试试看打发了产品回去之后，立马登上去看1.排查1.1 yarn 运行的好端端的,没收到电话跟短信是正常的（ps：这里加了监控实时任务挂掉的话是会电话短信通...
2020-08-20 20:38:33
2812
3
原创 【备份】 备份生产环境的hive database，table DDL语句
话不多说直接上脚本好了，拷贝下来可直接运行，最终的hql语句在bak_table_ddl.hql#!/bin/bashhive -e "show databases "> database.txtrm -rf bak_table_ddl.hqlwhile read database do hive -e "show tables in $database" > tables.txt while read table do .
2020-08-21 17:41:55
347
原创 【FLINK】Flink 1.10 Run 命令详解
对于刚接触flink的小伙伴，很多都不太理解flink的参数命令，我也是，这里我记录一下，尽量通俗易懂装了flink 之后，要是不太记得参数命令可以直接敲命令flink run --helpSyntax:run[OPTIONS]<jar-file><arguments> "run"actionoptions: description 理解 -c,--class<classname> ...
2020-08-04 18:00:21
6560
原创 【YARN】yarn 基本命令
1、查看 应用命令yarn application --list2、终止applicationyarn appclication -kill IDeg: yarn appclication -kill application_1553586756026_6634044
2020-08-04 11:31:11
280
原创 【FLINK】flink读取mysql 数据 报java.sql.SQLException: Value ‘0000-00-00 00:00:00‘ can not be represented
原因是读取mysql中Timestamp类型字段时，如果数值为空值会以0000-00-00 00:00:00 格式填充，导致格式转换错误解决方式：在jdbc后面添加?zeroDateTimeBehavior=convertToNull String driverClass = "com.mysql.jdbc.Driver"; String dbUrl = "jdbc:mysql://localhost:3306/test?zeroDateTimeBehavior=..
2020-08-02 23:21:01
490
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人