信徒博客

注意事项：分隔符这里，我一直没注意，导致不管怎么读数据都读不到；可以用换行符，可以用其他的，视情况而定；getRow()是kettle的自己的方法，是获取行的意思;跟普通的java类不一样，没有类的申明，只有方法在里面！到这里，文本文件输入组件的部分结束了；文本文件输入---文件。文本文件输入---内容。

1、下载jdbc驱动，放到kettle的lib目录下。缺失mysql的驱动jar包。2、正确填写数据库信息。

1、test3是单独接受T4301的mqtt主题数据以下是flink代码以下是node-red的。

我觉得可能是1、因为代码错误运行时间长了有bug，这个是最有可能的(90%) 当时默认的内存是1G，不可能存在着内存不够的原因。我用了hadoop的集群的yarn，以及分析了taskmanager和jobmanager的内存大小、以及分析每个错误的原因。2、没仔细分析Log日志，很多时候想要节省时间走捷径，但是发现走的都是弯路。flink运行jar包任务，运行几个小时或者1天以后，任务就会挂掉！flink-conf.yaml 优先使用flink集群有的jar包。flink集群的slot分配有问题。

link 1.11开始官方不再维护flink-shaded-hadoop-2-uber jar，可以使用之前版本的shade，社区建议导入hadoop classpath，执行这行代码，不需要改任何东西。这个错误的原因是没有指定入口类的地址，如org.example.job.T4301MesDownline。有一个疑问，当我把flink任务提交给yarn集群进行资源调度管理的时候，因为此时用的是hadoop的yarn的集群，而不是自带的集群！把flink的资源调度管理交给专业的框架yarn框架去做！