he593776830-CSDN博客

原创 Vscode搭建java环境

1、java 插件Extension Pack for Java1. redhat-v0.64.1(支持jdk8)2. Maven for java3. Debugger for Java4. Test Runner for Java5. Project Manager for Java6. Visual Studio IntelliCode注 : 我只安装了前五个1. redhat 版本与jdk版本有依赖，jdk8请用redhat-v0.64.12. Visual Studio In

2022-01-25 14:46:10 1345 2

原创 flink mysql sink

flink mysql sink前言：应用场景：flink将javaBean写入mysql；我的javaBean为Gps_infoBean； mysql为windows版本；package com.cywx.function;import com.cywx.javabean.Gps_InfoBean;import org.apache.flink.configuration.Configuration;import org.apache.flink.streaming.api.f

2021-06-02 10:56:50 706

原创 mongoDB查询

前言：最近在操作mongoDB，经常涉及到了一些简单的查询操作（但是对我来说，我是个新手！！！）在这里记录一下，方便以后查看（持续更新）。简单查询：想要查询，首先要了解数据结构，简单的json、嵌套json、json+数组、json+对象，等对于简单的json,很简单，直接获取所需字段对应的所需值即可。 db.getCollection("集合名称").find({字段名:字段值}) 嵌套json——支持多层嵌套 db.getCollectio.

2021-06-01 12:06:48 336

原创 redis 数据导出到文件

redis 导出数据到文件工作中碰到一个这样的场景：flink 处理数据，sink到redis。完成之后想直接去查看Redis的所有key-value，使用三方工具不够直观，于是想了个办法，直接把所有的key-value导出来，放在文本里查看分析结果。代码如下 package com.cywx.app;import redis.clients.jedis.Jedis;import redis.clients.jedis.JedisPool;import redis.clients.je

2021-05-27 14:39:10 2574

转载 flink redis异常

flink项目背压问题1、redis1、突然遇到flink执行速度特别慢，一小时才跑了1G数据，于是查看背压状态，发现出现背压。2、重新执行任务，查看背压算子，发现是redissink 导致，继而报错Caused by: redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the poolCaused by: java.util.NoSuchElementException:

2021-05-26 13:46:25 679

原创 mongo compass导入导出，数据类型被转换

问题1最近在做一个flink 项目时，测试时，使用mongodb compass把mongo原始库的数据导出到本地，再导入到测试集合，代码敲完以后在源数据库测试，发现直接读取不到数据。问题解决1、查看原始数据发现数据格式，和从原始数据导出到测试集合的数据，有点不同，原始数据的对象，变成了集合，导致敲代码的时候全部是按照集合处理的，所以出现了上述问题。2、如图：3、修改代码问题21、实际项目使用kafka作为中间件，于是写代码时直接用的kafka 重复消费。2、在代码完成后想测试总数据，由于

2021-05-25 14:42:55 620 1

原创 flink—打开的文件过多

flink 打开文件数量太大flink错误之打开文件数量太大解决办法flink错误之打开文件数量太大最近在测试时，发现代码在测试机上运行很短一段时间后就报错，查看日志，发现报打开文件数量太大，经检查发现是redis连接池没有全部关闭，调整代码后问题解决。记录一下解决办法。解决办法1、提交任务之前先查看linux 打开文件总数lsof |wc -l2、提交任务，再次并多次查看linux 打开文件总数，看是否只增不减。3、看到只增不减，问题就在这里，报警的“打开文件数量太大”并不单单指的是文件数量，

2021-05-25 14:20:31 1430 1

he593776830的博客