- 博客(56)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 flink接入mqtt数据源
flink没有原生的mqtt数据源，但可以通过自定义数据源进行添加mqtt的数据源。在flink的main函数中增加。
2023-10-24 10:49:43
737
原创 堆外内存OutOfDirectMemoryError处理
而flink中的堆外内存溢出，主要是因为taskmanager的堆外内存分配空间不足，修改配置文件taskmanager.memory.framework.off-heap.size: 1g。可以看出分配时要通过DIRECT_MEMORY_COUNTER计数，从而判定是否够分配，那么可通过反射监听DIRECT_MEMORY_COUNTER在什么时候会增长变化。反射获取某个变量的变化值来定位问题的思路是可以借鉴的。监听堆外内存增长的规律，可定位内存增长的原因。flink版和spring版。
2023-10-19 08:46:00
364
原创 Serializable序列号
在java的序列化中，一旦实现了Serializable 接口，需要定义版本号。后续反序列化时可以识别，否则有机会造成序列化失败，找不到类XX。
2023-09-14 09:35:59
133
原创 flink任务性能优化
明确指出，当前内存有限的情况下，使用rocketDB会造成性能损害，因为rocketDB会不停刷内存，造成高io和高cpu。所以在小型化项目时，对状态数据要求不高时，可考虑不使用rocketDB作为状态后端。2、将下游数据需要的数据以参数的形式向下传递。1、使用异步算子，异步执行操作。
2023-08-02 18:09:59
1176
原创 maven排除父类依赖中的部分依赖
compile项目时，如果存在的类，显示找不到符号，则可以将父项目重新compile。pom具有就近原则和层级关系，可以在具体项目中重新引用覆盖，并排除不需要的依赖。
2023-06-06 14:46:33
1398
原创 springboot项目，idea显示bean注入，启动仍显示需要注入bean
还有一种情况，idea显示已注入，但运行后仍提示注入问题，则考虑其他注解的扫描路径是否正确，比如enableFeignClients等。如果是spring项目，则检查扫描路径或xml配置，确保该类在正确的扫描路径下。
2023-05-22 16:19:00
259
原创 【flink】随机可以导致的异常 key group from 77 to 103 does not contain 60
【flink】随机可以导致的异常 key group from 77 to 103 does not contain 60
2023-03-06 10:46:27
207
原创 flink中的netty版本与所依赖包中不一致情况
1、 可以再单独依赖一个版本netty，与flink保持一致2、还可以在项目中重新依赖与依赖中相同的版本，注意scope范围一定要大
2021-09-14 16:05:29
497
原创 两个module之间避免循环引用
如题，在spring 项目中，会依赖module，有时候会有交叉逻辑导致循环引用，遇到此问题可以通过写接口而进行隔离，在真正需要的项目中实现该接口。
2021-08-24 09:01:22
430
原创 flink中读取kafka消息写进es中消费进度过慢问题
问题：在数据量较小的时候，从kafka中读取消息并写入es，没什么问题。但是等数据量多的时候，发现读kafka消息向es写入速度明显变慢，出现了时间上较大的延迟。最后排查原因，发现是es有提交的机制，设置的最大的提交量是1，这样就会导致数据每来一条就要执行一次提交的操作，这样极大的拖慢了整个系统的处理速度。esSinkBuilder.setBulkFlushMaxActions(1);后面修改为 esSinkBuilder.setBulkFlushMaxActions(1000
2021-08-17 20:48:17
2649
原创 hibernate/SpringDataJpa使用@Query返回类型
对于@Query自定义查询时1、如果返回的是整张表数据，可以直接映射到实体类，用Bean或者List<Bean>皆可2、返回的是统计数据，那么可以用Integer接收，或者其他的类，这是单个数据的返回值，也可以直接映射3、当返回值是两列数据时，可以用Map映射，如果是多行可以用List<Map>映射，这时候每一行都被映射成一个Map。4、当返回值是两列及以上时，最好的办法就是用Object接收，多行用List<Object>映射，取到对应的值后，可以通过手
2021-07-24 09:45:32
1503
转载 elasticSearch查询
一、非聚合复杂查询(这儿展示了非聚合复杂查询的常用流程)查询条件QueryBuilder的构建方法1.1 精确查询（必须完全匹配上，相当于SQL语句中的“=”）① 单个匹配 termQuery//不分词查询 参数1： 字段名，参数2：字段查询值，因为不分词，所以汉字只能查询一个字，英语是一个单词.QueryBuilder queryBuilder=QueryBuilders.termQuery("fieldName", "fieldlValue");//分词查询，采用默认的分词器Query.
2021-07-01 15:28:45
542
原创 netty拆包实现拼包
通常由于网络传输，路由器等链路传输会将原完整报文包进行拆包传输。在netty网络通信框架中如何拼包。书中和各论坛的文章中都会介绍4中情况，并给出解决方案。 但这些情况都不满足我遇到的情况，我的解决方案是在pipline的headHandler中定义一个inbound的byteToMessage类，原因是该类可以在判断帧不完整的情况下等待后续的报文的到来，具体源码为 * If a custom frame decoder is required, then one needs ...
2021-06-22 15:29:00
566
原创 spring注入和构造函数优先级问题
在spring的项目中，偶然遇到将注入类在构造函数中初始化，发现通过@Autowired注入的是null值。通过修改Configuration的配置调整注入优先级，还是于事无补。后来发现是构造函数的执行优先级要高于spring的注入，其实这也好理解，spring是基于java语言的，构造函数的初始化是java语言级别的。我解决的办法是直接在构造函数中写入需要初始化的类，那个类是spring容器管理，在构造函数初始化时自然会在容器中寻找该类，复杂的函数依赖，spring已经给我们做了很多的优化。另外...
2020-12-02 11:17:37
1273
原创 两个byte数组拼接
public static void arraycopy(Object src, int srcPos, Object dest, int destPos, int length) Object src : 原数组 int srcPos : 从元数据的起始位置开始 Object dest : 目标数组 int destPos : 目标数组的开始起始位置 int length : 要copy的数组的长度通俗解释ASystem.arraycopy(bytes1,..
2020-09-04 16:22:19
1920
原创 sql查询重复记录
select * from 数据表 WHERE重复记录字段 in (select 重复记录字段 from 数据表 group by 重复记录字段 having count(重复记录字段)>1)
2020-08-11 11:32:24
127
原创 springboot 将本地jar打包进jar
<dependency> <groupId>com.oracle</groupId> <artifactId>ojdbc6</artifactId> <scope>system</scope> <version>1.0</version> <systemPat...
2020-07-28 17:07:16
282
原创 swagger2上传文件并保存
csdn中很多文章都给了如题的解决方案，这里我写的是我自己的写的解决方案。首先我这里上传文档是通过参数形式传输的，不是post形式，所以在写api时使用@RequestParam参数 @ApiOperation("添加App") @PostMapping("/addd") public ResponseEntity add(@Validated ApplicationForm applicationForm, @RequestParam("file") Multipart...
2020-07-07 15:34:35
1149
原创 mybatis学习（三）mybatis 高级查询
本章主要学习mybatis的高级结果映射，主要处理数据库一对一、一对多的查询一对一查询 还是使用的是前文的SysUser类，在SysUser类中增加SysRole属性private SysRole role;（1）使用自动映射处理一对一使用自动映射就是通过别名让mybatis自动将值匹配到对应的字段上，下面是根据自动映射的规则，在userMapper.xml中增加以下方法 <select id="selectUserAndRoleById" resultT...
2020-07-06 16:46:13
376
1
原创 oracle建立主键索引，自增，及ORA-00001
oracle本身没有主键自增概念，所以在insert的时候，面对主键自增就不方便。但是oracle中有sequence可以获取自增的值，用法如下：create sequence BS_CHARGESTATION_SEQ increment by 1 start with 4000 nomaxvalue nocache; increment是增加幅度start with是从该值增加nomaxvalue无最大值nocache无缓存drop SEQUENCE BS_CHA.
2020-07-03 15:06:37
995
原创 mybatis学习（二）mybatis 动态sql
MyBatis的强大特性之一便是它的动态SQL，这里主要说下<if>，<choose>，<where>，<set>，<foreach>，<bind>。搭建mybatis（基于springBoot）和增删改查，见上文一、if <select id="selectByUser" resultType="com.lbc.mybatisDemo.book.model.SysUser"> select *
2020-07-01 14:58:05
280
原创 mybatis学习（一）mapper.xml解析和简单增删改查
前言搭建SpringBoot环境下的mybatis，详见《SpringBoot集成mybatis实践，源码》https://blog.csdn.net/qq_35642849/article/details/107038989正文一、解析mapper.xml<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" ..
2020-06-30 16:01:50
1291
2
原创 SpringBoot集成mybatis实践，源码
一、添加依赖<dependencies> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId> <version>3.5.2</version> </dependency> &l
2020-06-30 13:42:41
249
原创 spring boot项目启动报错:Failed to load property source from location classpath:application.yml
springBoot启动程序，启动不成功，但是不报错，于是用try…catch 捕捉错误。发现是如题的错误，在论坛里找了很多答案，但是都没有效果，万万没想到，读取yml文件是需要增加依赖的 <dependency> <groupId>org.yaml</groupId> <artifactId>snakeyaml</artifactId> <version>1.
2020-05-20 17:12:36
205
转载 java 8 日期处理
java 8 推出了全新的日期时间API，在教程中我们将通过一些简单的实例来学习如何使用新API。Java处理日期、日历和时间的方式一直为社区所诟病，将 java.util.Date设定为可变类型，以及SimpleDateFormat的非线程安全使其应用非常受限。新API基于ISO标准日历系统，java.time包下的所有类都是不可变类型而且线程安全。编号 编号 类的名称 描述 1 Instant
2020-05-09 09:23:14
169
原创 springBoot 动态绑定类
深度好文https://jiayouxujin.github.io/2019/04/20/java动态绑定和静态绑定详解/ 在写项目的时候，有一个项目是只能定义一个父类，但是根据数据类型的不同需要选取不同的子类。但是父类是不能访问子类的程序的，所以就必须在程序里去实现该功能。第一步，将父类看做一种类型，循环缓存所有该类型的子类。...
2020-01-16 16:44:35
488
原创 【java】 String类型的键值对，提取对象
Map类型的String Map map = JacksonUtil.toObject(json, HashMap.class); map.get("key");public class JacksonUtil { private static ObjectMapper mapper = new ObjectMapper(); static { ...
2020-01-15 09:46:05
2211
原创 restTemplate Post请求——（参数+body）请求
RestTemplate以更优雅的代码结构进行http请求。在post请求中，总会遇到参数和body同是请求的情况。其实post的请求大体上可以分为 header、query、body。 所以解决问题的思路就是三部分分别设置参数。 Map body = new HashMap(); body.put("1","1"); ...
2020-01-03 15:57:54
19196
2
原创 【java】位运算总结
之前先回顾基础知识1、字节：byte：用来计量储存容量的计量单位；位：bit2、1 byte = 8 bit3、Byte 是byte的封装类，如同Integer 和 int4、各种类型占用的字节数整形byte:1个字节 8位 -128~127short ：2个字节 16位int ：4个字节 32位long：8个字节 64位浮点型float：4个字...
2019-12-27 14:36:33
306
原创 java父类子类继承问题
java的子类继承父类，在初始化时，初始化子类可读取父类的方法，但如果初始化父类，则不可读取子类的方法。 创建对象时，Father c = new Child() 子类继承父类时，针对覆写的方法，调用的是子类方法，在静态属性上，不存在覆写，还是用的是父类的属性public class Father { protected int age; public...
2019-12-25 17:01:14
321
原创 swagger ui 本地可以访问，服务器访问不了
现象1、程序发布之前360浏览器的http://localhost:8888/swagger-ui.html能正常访问，http://192.168.1.112:8888/swagger-ui.html 不能访问现象2、程序打包jar发布之后，通过360浏览器白页解决 1、因为我在程序里加了地址拦截 addInterceptors ...
2019-12-13 11:38:35
12371
1
原创 【springBoot】基于jwt的token验证
参考博客：https://www.liangzl.com/get-article-detail-39644.html一、添加依赖 <dependency> <groupId>com.auth0</groupId> <artifactId>java-jwt</artifactId>...
2019-12-13 10:24:35
376
原创 maven+springBoot瘦打包jar
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plug...
2019-12-12 18:02:11
224
原创 lambda比较两个list中值
List<Equip> equips = equipService.query(specification); List<Mileage> mileages = mileageService.queryAll(); List<Equip> equipList = new ArrayList<>(); ...
2019-12-11 19:09:34
3172
原创 lambda排序stream(). sorted()
自然排序 list..stream(). sorted()自然逆排序 list.stream().sorted(Comparator.reverseOrder())字段排序 list.stream().sorted(Comparator.comparing(Mileage::getDate)字段逆排序 list.stream().sorted(Comparat...
2019-12-11 14:28:36
760
原创 lambda :: 和计算list中某个字段值的总和
用lambda表达式计算一个list中的某个字段值的总和int total = List.stream().mapToInt(entity::getDistance).sum();解释：List是要计算的list，mapToInt是将实体类entity中的属性转换为int，最后是sum求总共，lambda的stream可以理解为时做了一个循环其中:: 也是匿名函数的一种转自：http...
2019-12-11 11:29:39
24583
1
原创 JPA 实体注释
@ManyToOne(fetch = FetchType.EAGER)fetch:加载策略eager是马上关联加载lazzy是只有get的时候加载@OneToMany(fetch = FetchType.LAZY, cascade = CascadeType.ALL, mappedBy = "archiveTemplate", orphanRemoval = true)...
2019-12-11 11:20:52
205
原创 httpClient绕过ssl安全验证
针对http的数字证书过期情况，访问该地址时ssl验证不通过，临时急救办法就是跳过ssl的安全验证。在HTTPClient的api中提供了 setSslcontext 方法可以设置跳过ssl安全验证。 public static SSLContext createIgnoreVerifySSL() throws NoSuchAlgorithmException, KeyM...
2019-12-09 09:21:25
2060
ViewPager+Fragment，NavigationTabbar，NavigationTabbar+Fragment
2019-01-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人