AinUser的博客

原创 这是一个有故事的项目

As a walker ， going (作为一个行脚僧，永不停下奔向远方的脚步)# 概述作为在数据分析领域混迹多年的人，经常想做一个有意义且能够体现自身技术的项目之前做过一个懒人早读小程序，目前源码已开放，由于小程序限制未能成功上线，但功能完备懒人早读小程序 前端项目：https://github.com/ainusers/lanrenzaodu-portal懒人早读小程序 后端项目：https://github.com/ainusers/lanrenzaodu-server..

原创 ~~~~我的简历呦~~~~

个人信息： xxx | 男 | 未婚 | 1993.7 | 河北邯郸 | 现居住：北京市xx区 | 本科 4 年工作经验 | 134730xxx | 5730473@qq.com自我评价： 1. 具有独立发现、分析、解决问题的能力 2. 具有绝对的忠诚度、敬业精神以及较强的保密、备份意识 3. 具有强烈的责任感，良好的沟通、学习能力以及团队协作意识 4. 具有代码洁癖，完美主义者，追求编写优雅的代码、追求极致的用户体验...

原创 CK的SQL脚本优化

CK优化

原创 如何删掉k8s的pod

如何删掉k8s的pod

原创 springboot2.x –spring.config.location不生效问题

springboot2.x –spring.config.location不生效问题

原创 EA(enterprise architect)左侧工作空间隐藏，如何打开

EA(enterprise architect)左侧工作空间隐藏，如何打开

转载 排查CPU占用过高

http://www.studyofnet.com/news/2135.html

原创 [Ljava.lang.Object； cannot be cast to class [Ljava.net.URI； ([Ljava.lang.Object； and [Ljava.net.URI

[Ljava.lang.Object; cannot be cast to class [Ljava.net.URI; ([Ljava.lang.Object; and [Ljava.net.URI

原创 Caused by: 类找不到: org.apache.flink.table.planner.delegation.ParserFactory或者ExecutorFactory

Caused by: 类找不到: org.apache.flink.table.planner.delegation.ParserFactory或者ExecutorFactory

原创 PushGateway+Prometheus+Grafana构建Flink实时监控

PushGateway+Prometheus+Grafana构建Flink实时监控

原创 浏览器无法访问minio

对象存储服务器（图片，视频，文件等）

原创 flink-sqlClient和hadoop-hive写入数据

flink-sqlClient和hadoop-hive写入数据

原创 map和实体类互转的代码示例

map和实体类互转的代码示例

原创 flink Could not acquire the minimum required resources

flink Could not acquire the minimum required resources

原创 适配多es版本代码案例

springboot项目适配不同的es版本

原创 解压jar包修改配置文件（解压、修改、压缩、运行）

jar命令打包项目

原创 线程池使用

# 1. 创建线程池public final class TaskPoolManager { /** 默认线程池核心线程数. * */ static final int DEFAULT_CORE_POOL_SIZE = 16; /** 默认线程池最大允许线程数. * */ static final int DEFAULT_MAX_POOL_SIZE = 30; /** 默认线程池中空闲线程的存活时间. * .

原创 lamda常用操作

# 1. 分组# 1.1. entity实体User分组Map<String, List<User>> groupBySex = userList.stream().collect(Collectors.groupingBy(User::getSex));# 1.2. Map<String,Object>对象分组protected static List<Map<String, Object>> target;Map<Stri.

原创 Skipping JaCoCo execution due to missing execution data file

# 情境分析今天在为项目集成sonar单元测试覆盖率的过程中，发现了许多问题，在这里记录下，为大家提供一下解决思路# 单测覆盖率执行思路1. 首先通过maven打包，然后生成测试文件2. sonar扫描导入maven生成的测试文件，出现单测覆盖率# 可能出现问题的点1. 可能没有生成测试文件2. 生成的测试文件可能为空，没有数据# 上面两个问题，如何确定呢？ (通过查看日志)1. 使用 Surefire 配置破坏 JaCoCo 代理在maven install打包的日志中，.

原创 Found local file path with authority和Hint: Did you forget a slash解决方案

# 今天在将flink-ml程序集成到现有项目中报错如下所示Caused by: java.io.IOException: Found local file path with authority 'C:\Users\cc\AppData\Local\Temp\flink-io-bf1d6783-b04e-4d7c-af1f-7ad2d7cc32fc' in path 'file://C:%5CUsers%5Ccc%5CAppData%5CLocal%5CTemp%5Cflink-io-bf1d6783.

原创 VMWARE 桥接模式和NAT模式设置

# 桥接模式https://blog.csdn.net/lk142500/article/details/88386651# Nat模式https://blog.csdn.net/AinUser/article/details/120388111上面的不行，再用这个https://www.cnblogs.com/shireenlee4testing/p/9469650.html

原创 Flink-Test 单元测试

编写单元测试是设计生产应用程序的基本任务之一。如果不进行测试，那么一个很小的代码变更都会导致生产任务的失败。因此，无论是清理数据、模型训练的简单作业，还是复杂的多租户实时数据处理系统，我们都应该为所有类型的应用程序编写单元测试。下面我们将提供有关 Apache Flink 应用程序的单元测试指南。Apache Flink 提供了一个强大的单元测试框架，以确保我们的应用程序在上线后符合我们的预期。1. Maven依赖如果我们要使用 Apache Flink 提供的单元测试框架，我们需要引入如下依赖：

原创 flink-ml 技术调研

# 环境要求依赖Flink Table API (flink-version：1.14.0以上)# 算法模型1. KNN2. 逻辑回归3. 朴素贝叶斯4. kmeans5. 热编码算法# maven依赖(1) 使用工件flink-ml-core_2.12来开发自定义 ML 算法(2) 使用工件flink-ml-core_2.12和flink-ml-iteration_2.12开发需要迭代的自定义 ML 算法(3) 使用工件flink-ml-lib_2.12以使用中现成的 ML.

原创 恢复误删的git分支

# 开头引用我参考文章内容？？？？？？？？我猜你进来找答案的时候表情应该是这样的既然进来了，问题肯定是可以解决的，继续往下看# 第一种方式# 1.找到需要恢复的信息对应的commitidgit reflog show# 2. 需要找到你想要恢复的那个提交信息的commitid 如下图所示，黄色字体就是commitid# 第二种方式 如果你忘记分支名字，只记得删除时间# 1. 执行命令git log -g# 2. 这里也需要找到commitI..

原创 flink 多数据源适配

# 数据支持elasticsearch5/7、clickhouse、cdcgithub地址：https://github.com/ainusers/flink-adapter-datasource

原创 git branch -a 比gitlab上分支数目要少

# 情景今天在通过git branch -a命令查看分支，突然发现本地看到的分支，比gitlab上面的分支要少# 解决1. 同步分支git fetch2. 查看分支git branch -a

原创 postgresql命令行执行sql脚本文件

# 1. sql文件导入/执行psql -d sdk -h 192.168.2.122 -p 5432 -U postgres -f /home/sql/test.sql#-d 数据库名称#-h ip地址 (最好直接写明，不要使用localhost)#-p 端口号#-U 用户#-f sql文件路径# 2. sql文件导出pg_dump -h 192.168.2.122 -p 5432 -U postgres -f /home/sql/test.sql sdk#-h ip地址 .

原创 记一次线上OOM内存溢出的排查历程

# 环境准备1. 内存泄露文件注：在运行java项目的时候，添加参数，当内存溢出的时候可以生成hprof二进制文件，这个可以百度下java_pid200378.hprof2. 内存泄露分析工具eclipse memory analyzer# 释义1. 内存泄露内存泄露为程序在申请内存后，无法释放已申请的内存空间换句话说不再会被使用的对象或者变量占用的内存不能被回收，就是内存泄露# 开始喽如下图所示，是我的两个准备文件# 文件打开页面，开始我的分析之路点击 .

原创 java代码中，哪些地方容易出现内存泄漏？

# 1. threadlocal关键字 (这个是听说)# 2. log.info日志输出 (你可能不太信，是真的)在流量大的地方，使用log.info会不断的new对象# 3. es查询 InternalSearchHit.sourceAsMap (未实战)例如：Map datas = hit.sourceAsMap()解决：Map datas = new HashMap(hit.sourceAsMap())...

原创 es5.1.1 修改索引数据

# 环境描述使用es版本为：5.1.1使用client为：TransportClient client，不是highLevelClient# 1. 知道当前数据rowid时UpdateRequest updateRequest = new UpdateRequest("index-2021.08.16","type","rowid") .doc(Map.of("agent","aa"));updateRequest.docAsUpsert(true);cl.

原创 java程序shell脚本制作

# 说明本版本支持jdk版本选择和常用的脚本命令# 启动./xx.sh start# 关闭./xx.sh stop# 重启./xx.sh restart# 特殊情况下，使用自定义jdk版本./xx.sh start custom# 脚本下载地址https://github.com/ainusers/command-start-script...

原创 flink 数据无法写入elasticsearch5且不报错

# 前言其实和flink没啥关系，只是正好场景使用的是flink，问题在于elasticsearch5的参数设置# 问题之前代码，数据无法写入，但是也不报错，后来添加了一个参数设置，就可以写入了# 参数配置config.put("bulk.flush.max.actions", "1");在如下代码中，已经加入该参数配置@Test void contextLoads() throws Exception { // 获取流处理执行环境 .

原创 kafka消费消息-java版-demo

@SpringBootApplicationpublic class CcApplication { public static void main(String[] args) { SpringApplication.run(CcApplication.class, args); /** * 主要参数： * 1.bootstrap.servers,group.id,key.deserializer,value.deseri.

原创 flink算子动态编排 - 技术调研历程

# 1. 首先，先展示一张常规编写算子计算流程的示意图# 2. 如上图所示，常规编写算子，相当于死代码，我们不能够在服务运行的时候，动态的去变更算子流程，不过这个地方受限于flink生成的计算流图，当服务启动至运行的过程中，flink会将算子的计算流图生成好，不能够进行动态的变更。当然下面的技术调研，也没有突破这个瓶颈，只是可以在不停止服务，不影响原有算子编排任务前提下，创建新的算子编排任务...

转载 理解线程池，核心线程数，队列，最大线程数

import java.util.concurrent.*;public class ExecutorTest { public static void main(String[] args) { // 创建线程池 ， 参数含义 ：（核心线程数，最大线程数，加开线程的存活时间，时间单位，任务队列长度） ThreadPoolExecutor pool = new ThreadPoolExecutor(5, 8, 0L, Ti.

原创 elasticsearch滚动查询工具类 (集成版)

/** * @time: 2021/11/17 17:22 * @Param: 输入查询条件对象 * @return: 返回查询结果 * @Description: 发送滚动查询数据至kafka */ /*public static void sendscrollSearchData(TransportClient client, SearchRequest searchRequest) { SearchResponse .

原创 性能测试报告指标

# CPU查看CPU信息（型号）[root@master ~]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 32 Intel(R) Xeon(R) CPU E5-2630 v3 @ 2.40GHz# 查看物理CPU个数[root@master ~]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l2# 查看每个物理CPU中core的个数(即核数).

原创 Enterprise Architect EA工具将设计视图导出为xml

原创 Enterprise Architect EA工具依据现有项目画类图

原创 Elasticsearch client is not connected to any Elasticsearch nodes!

# 情景当前使用flink1.13写入es5.1.1，在使用idea启动项目过程中，报错如下所示：Elasticsearch client is not connected to any Elasticsearch nodes!# 问题原因这个主要是因为代码中cluster.name写错了# 获取cluster.name# 注意主要代码如上所示，需要注意的是，1. cluster.name 需要先查询之后再写2. es5.x之前端口是9300，es6.x之后端..