AinUser的博客

原创 Found local file path with authority和Hint: Did you forget a slash解决方案

# 今天在将flink-ml程序集成到现有项目中报错如下所示Caused by: java.io.IOException: Found local file path with authority 'C:\Users\cc\AppData\Local\Temp\flink-io-bf1d6783-b04e-4d7c-af1f-7ad2d7cc32fc' in path 'file://C:%5CUsers%5Ccc%5CAppData%5CLocal%5CTemp%5Cflink-io-bf1d6783.

原创 VMWARE 桥接模式和NAT模式设置

# 桥接模式https://blog.csdn.net/lk142500/article/details/88386651# Nat模式https://blog.csdn.net/AinUser/article/details/120388111上面的不行，再用这个https://www.cnblogs.com/shireenlee4testing/p/9469650.html

原创 Flink-Test 单元测试

编写单元测试是设计生产应用程序的基本任务之一。如果不进行测试，那么一个很小的代码变更都会导致生产任务的失败。因此，无论是清理数据、模型训练的简单作业，还是复杂的多租户实时数据处理系统，我们都应该为所有类型的应用程序编写单元测试。下面我们将提供有关 Apache Flink 应用程序的单元测试指南。Apache Flink 提供了一个强大的单元测试框架，以确保我们的应用程序在上线后符合我们的预期。1. Maven依赖如果我们要使用 Apache Flink 提供的单元测试框架，我们需要引入如下依赖：

原创 flink-ml 技术调研

# 环境要求依赖Flink Table API (flink-version：1.14.0以上)# 算法模型1. KNN2. 逻辑回归3. 朴素贝叶斯4. kmeans5. 热编码算法# maven依赖(1) 使用工件flink-ml-core_2.12来开发自定义 ML 算法(2) 使用工件flink-ml-core_2.12和flink-ml-iteration_2.12开发需要迭代的自定义 ML 算法(3) 使用工件flink-ml-lib_2.12以使用中现成的 ML.

原创 恢复误删的git分支

# 开头引用我参考文章内容？？？？？？？？我猜你进来找答案的时候表情应该是这样的既然进来了，问题肯定是可以解决的，继续往下看# 第一种方式# 1.找到需要恢复的信息对应的commitidgit reflog show# 2. 需要找到你想要恢复的那个提交信息的commitid 如下图所示，黄色字体就是commitid# 第二种方式 如果你忘记分支名字，只记得删除时间# 1. 执行命令git log -g# 2. 这里也需要找到commitI..

原创 flink 多数据源适配

# 数据支持elasticsearch5/7、clickhouse、cdcgithub地址：https://github.com/ainusers/flink-adapter-datasource

原创 git branch -a 比gitlab上分支数目要少

# 情景今天在通过git branch -a命令查看分支，突然发现本地看到的分支，比gitlab上面的分支要少# 解决1. 同步分支git fetch2. 查看分支git branch -a

原创 postgresql命令行执行sql脚本文件

# 1. sql文件导入/执行psql -d sdk -h 192.168.2.122 -p 5432 -U postgres -f /home/sql/test.sql#-d 数据库名称#-h ip地址 (最好直接写明，不要使用localhost)#-p 端口号#-U 用户#-f sql文件路径# 2. sql文件导出pg_dump -h 192.168.2.122 -p 5432 -U postgres -f /home/sql/test.sql sdk#-h ip地址 .

原创 记一次线上OOM内存溢出的排查历程

# 环境准备1. 内存泄露文件注：在运行java项目的时候，添加参数，当内存溢出的时候可以生成hprof二进制文件，这个可以百度下java_pid200378.hprof2. 内存泄露分析工具eclipse memory analyzer# 释义1. 内存泄露内存泄露为程序在申请内存后，无法释放已申请的内存空间换句话说不再会被使用的对象或者变量占用的内存不能被回收，就是内存泄露# 开始喽如下图所示，是我的两个准备文件# 文件打开页面，开始我的分析之路点击 .

原创 java代码中，哪些地方容易出现内存泄漏？

# 1. threadlocal关键字 (这个是听说)# 2. log.info日志输出 (你可能不太信，是真的)在流量大的地方，使用log.info会不断的new对象# 3. es查询 InternalSearchHit.sourceAsMap (未实战)例如：Map datas = hit.sourceAsMap()解决：Map datas = new HashMap(hit.sourceAsMap())...

原创 es5.1.1 修改索引数据

# 环境描述使用es版本为：5.1.1使用client为：TransportClient client，不是highLevelClient# 1. 知道当前数据rowid时UpdateRequest updateRequest = new UpdateRequest("index-2021.08.16","type","rowid") .doc(Map.of("agent","aa"));updateRequest.docAsUpsert(true);cl.

原创 java程序shell脚本制作

# 说明本版本支持jdk版本选择和常用的脚本命令# 启动./xx.sh start# 关闭./xx.sh stop# 重启./xx.sh restart# 特殊情况下，使用自定义jdk版本./xx.sh start custom# 脚本下载地址https://github.com/ainusers/command-start-script...

原创 flink 数据无法写入elasticsearch5且不报错

# 前言其实和flink没啥关系，只是正好场景使用的是flink，问题在于elasticsearch5的参数设置# 问题之前代码，数据无法写入，但是也不报错，后来添加了一个参数设置，就可以写入了# 参数配置config.put("bulk.flush.max.actions", "1");在如下代码中，已经加入该参数配置@Test void contextLoads() throws Exception { // 获取流处理执行环境 .

原创 kafka消费消息-java版-demo

@SpringBootApplicationpublic class CcApplication { public static void main(String[] args) { SpringApplication.run(CcApplication.class, args); /** * 主要参数： * 1.bootstrap.servers,group.id,key.deserializer,value.deseri.

原创 flink算子动态编排 - 技术调研历程

# 1. 首先，先展示一张常规编写算子计算流程的示意图# 2. 如上图所示，常规编写算子，相当于死代码，我们不能够在服务运行的时候，动态的去变更算子流程，不过这个地方受限于flink生成的计算流图，当服务启动至运行的过程中，flink会将算子的计算流图生成好，不能够进行动态的变更。当然下面的技术调研，也没有突破这个瓶颈，只是可以在不停止服务，不影响原有算子编排任务前提下，创建新的算子编排任务...

转载 理解线程池，核心线程数，队列，最大线程数

import java.util.concurrent.*;public class ExecutorTest { public static void main(String[] args) { // 创建线程池 ， 参数含义 ：（核心线程数，最大线程数，加开线程的存活时间，时间单位，任务队列长度） ThreadPoolExecutor pool = new ThreadPoolExecutor(5, 8, 0L, Ti.

原创 elasticsearch滚动查询工具类 (集成版)

/** * @time: 2021/11/17 17:22 * @Param: 输入查询条件对象 * @return: 返回查询结果 * @Description: 发送滚动查询数据至kafka */ /*public static void sendscrollSearchData(TransportClient client, SearchRequest searchRequest) { SearchResponse .

原创 性能测试报告指标

# CPU查看CPU信息（型号）[root@master ~]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 32 Intel(R) Xeon(R) CPU E5-2630 v3 @ 2.40GHz# 查看物理CPU个数[root@master ~]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l2# 查看每个物理CPU中core的个数(即核数).

原创 Enterprise Architect EA工具将设计视图导出为xml

原创 Enterprise Architect EA工具依据现有项目画类图

原创 Elasticsearch client is not connected to any Elasticsearch nodes!

# 情景当前使用flink1.13写入es5.1.1，在使用idea启动项目过程中，报错如下所示：Elasticsearch client is not connected to any Elasticsearch nodes!# 问题原因这个主要是因为代码中cluster.name写错了# 获取cluster.name# 注意主要代码如上所示，需要注意的是，1. cluster.name 需要先查询之后再写2. es5.x之前端口是9300，es6.x之后端..

原创 chrome添加es head插件

# chrome浏览器直接访问如下地址：https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmecolpfloofpjologoblkegm/related?hl=zh-CN

原创 linux 快速安装docker环境

# 设置docker的yum源yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 安装docker环境curl -sSL https://get.daocloud.io/docker | sh# 配置docker镜像源为aliyun[root@localhost ~]# vi /etc/docker/daemon.json[root@localhos.

原创 学习写法 - java版

# 1. 对象判空 (三种写法)assert rule != null;Preconditions.checkNotNull(data);Objects.requireNonNull(data, "'data' must not be null");

原创 rg.apache.flink.api.common.state.OperatorStateStore.getSerializableListState(Ljava/lang/String；)Lorg

# 情景如标题所示错误，是在做flink调试的时候报错的# 原因主要是maven依赖，版本不一致问题# 解决<properties> <java.version>11</java.version> <scala.version>2.11</scala.version> <guava.version>23.0</guava.version> &.

原创 flink-connector-clickhouse

# 情景介绍目前要对flink进行多数据源适配工作，需要支持的有pclickhouse,elasticsearch# 版本介绍flink：1.13.1elasticsearch:7.6.2clickhouse:21.9.3.30# 参考文献# githubflink全量案例demo：https://github.com/zhisheng17/flink-learningflink-connector连接器：https://github.com/DTStack/flinkxfli.

原创 docker安装clickhouse

# 安装过程1. 拉取镜像且运行docker run --restart=always -d --name clickhouse-server --ulimit nofile=262144:262144 -p 8123:8123 -p 9000:9000 -p 9009:9009 yandex/clickhouse-server2. 修改密码2.1. 获取加密后的密码 (以密码为：123456为例)echo -n 123456 | openssl dgst -sha2562.2. 进入.

原创 NoSuchMethodError: org.elasticsearch.client.RestHighLevelClient.ping([Lorg/apache/http/Header；)Z

# 情景我是在flink集成es的时候，出现的当前问题# 问题NoSuchMethodError: org.elasticsearch.client.RestHighLevelClient.ping([Lorg/apache/http/Header;)Z# 现象启动报错，flink无法提交job# 原因主要是maven依赖问题# 解决<!-- kafka-flink-source/sink连接器 --><dependency> <g.

原创 docker安装elasticsearch7.6.2

# 环境准备 (以vmware为例)1. docker 镜像源设置为aliyun2. cpu设置值>1# 安装步骤1. 安装dockercurl -sSL https://get.daocloud.io/docker | sh2. 下载es7镜像docker pull elasticsearch:7.6.23. 启动容器docker run --restart=always -p 9200:9200 -p 9300:9300 -e "discovery.type=singl.

原创 kubernetes 集群环境搭建 (kubeadm方式)

1、前置知识点目前生产部署 Kubernetes 集群主要有两种方式：（1）kubeadmKubeadm 是一个 K8s 部署工具，提供 kubeadm init 和 kubeadm join，用于快速部 署 Kubernetes 集群。官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/（2）二进制包从 github 下载发行版的二进制包，手动部署每个组件，组成 Kubernetes 集群。Kubead.

原创 VMWARE虚拟机 NAT模式设置

# 1. 设置VMVARE# 2. 设置VM# 3. 设置IP# 效果

原创 flink1.13.0 环境搭建

# flink部署1. standalone 模式2. yarn模式 session-cluster模式 job-cluster模式3. k8s模式注：yarn模式需要依赖hadoop环境，搭建请参考：https://blog.csdn.net/AinUser/article/details/120142220

原创 hadoop-3.3.0集群环境搭建

# 1. 配置三台机器的IP地址master 10.43.80.80slave1 10.43.80.81slave2 10.43.80.82# 2. 关闭三台机器防火墙systemctl stop firewalld.service# 3. 修改主机名对应IP地址，修改对应的主机名master 10.43.80.80slave1 10.43.80.81slave2 10.43.80.82执行命令hostnamectl set-hostname masterhostname.

原创 flink 咻咻咻

# flink简介apache旗下开源项目，logo是松鼠flink是一个分布式处理引擎，用于对无界和有界数据流进行状态计算的框架

原创 git将dev分支的更新同步到自己分支

# 情景当前有dev分支，还有ty分支(ty分支是从dev分支checkout出来的子分支)，现在dev分支有了变更，我现在想要将dev分支的变更同步到我当前的ty分支# 查看所有命令分支git branch -a # 确认当前分支为ty分支git branch# 将dev分支上面的变更同步到当前ty分支git merge dev...

原创 docker安装kafka并测试

# 1. 下载docker镜像docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka# 2. 启动zookeeper (单机方式)docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper# 3. 启动kafka (单机方式)注：下面启动命令中的IP(192.168.213.213)需要更换为你的服务器/虚拟机的静态IPdocker.

原创 Kubernetes(k8s) 咻咻咻

# 1.

原创 git远程创建新分支

# git在远端仓库创建新分支dev1. 先下载下来项目，然后进入.git目录的同级目录git clone https://xxx.gitcd xxx文件夹2. 从现有的分支创建一个新的分支git checkout -b dev3. 查看当前分支git branch4. 将本地创建的分支提交到远程git push origin dev5. 刷新仓库页面即可完成...

原创 Property ‘sqlSessionFactory‘ or ‘sqlSessionTemplate‘ are required

# 情景今天在搭建springboot+mybatis环境的时候遇到的问题，大概率是版本导致的冲突问题# 解决1. 第一种解决方案<dependency>　　<groupId>org.springframework.boot</groupId>　　<artifactId>spring-boot-starter-jdbc</artifactId></dependency>上面的配置换成下面的依赖<depen.

原创 Persistent entity ‘Users‘ should have primary key

# 情景：在使用spring jpa，想要根据实体类自动生成代码的时候，实体类名称报错# 检查鼠标移入实体类名称，实体类的类名下面是不是有一条下划线显示内容如下所示：Persistent entity 'User' should have primary key查看你上面import导入的注解是否是：import org.springframework.data.annotation.Id;# 解决将导入的注解，修改为：import javax.persistence.Id..