liuyuinsdu的专栏

原创 nginx反向代理java项目

nginx proxy_pass java springboot

原创 陶晶驰串口屏与香橙派linux开发板踩坑记录

一开始我是这么接线的，想着反正香橙派能对外输出5V，这样就不用外部电源了，但是发现指令执行异常，非常诡异，只有第一条指令能执行，后面的不行，重启后，还是这么个轮回。原来外部供电要用这种方式，经过接线后发现能正常运行，一切迎刃而解！

原创 艾莫迅PLC 调试板接线和配置

接线

原创 艾莫迅PLC（AMX214 3AD23） Modbus接线、调试、通信

艾莫迅 PLC 上modbus通讯。

原创 openwrt 查看指定进程内存占用情况命令 cat /proc/$PID/status

获取指定进程的pidps w | grep "xxx"查看进程id：2357的内存使用情况cat /proc/2357/status查询结果：Name: celeryState: S (sleeping)Tgid: 2357Pid: 2357PPid: 2353TracerPid: 0Uid: 0 0 0 0Gid: 0 0 0 0FDSize: 64Groups: VmPeak: 122556 kB # 代表当前进程运行过程中占用内存的峰值.VmS

原创 MODBUS RTU 如何计算CRC校验

用LUA脚本写的demo，大家可以参考------ Generated by EmmyLua(https://github.com/EmmyLua)--- Created by liuyu.--- DateTime: 2022/1/27 16:17---function And(num1,num2) local tmp1 = num1 local tmp2 = num2 local ret = 0 local count = 0 repeat

原创 log4j2漏洞修复

一、【紧急补救措施】（1）修改jvm参数-Dlog4j2.formatMsgNoLookups=true （2）修改配置log4j2.formatMsgNoLookups=True（3）将系统环境变量FORMAT_MESSAGES_PATTERN_DISABLE_LOOKUPS设置为true首先修改supervisor的配置文件增加环境变量遍历一下日志文件，看看是否有攻击没有人攻击，很好二、修改依赖库【影响范围】：Java类产品：...

原创 k8s token过期问题

[root@node1 ~]# kubeadm join 192.168.254.100:6443 --token 7r3l16.5yzfksso5ty2zzie --discovery-token-ca-cert-hash sha256:56281a8be264fa334bb98cac5206aa190527a03180c9f397c253ece41d997e8a W0604 10:35:39.924306 13660 join.go:346] [preflight] WARNING: J.

原创 rancher安装过程中的记录

总工有4台机器，004-007其中005和007内存较大，因此使用RancherD方式将rancher安装到007上，安装成功后有一个local的小集群，节点就007这个节点承担了local集群etcd和Control的功能我又新建了一个k8s集群，master一开始想放到107上，因为内存还挺大，但是发现一直报etcd不健康，起不起来，docker logs查看后，发现etcd端口已被占用，估计是那个local集群的etcd进程已经占用了端口，因为还不知道怎么修改端口，因此放弃在007上装

原创 Rancher搭建集群：[etcd] Failed to bring up Etcd Plane: etcd cluster is unhealthy

其实这个问题的主要原因还是上个集群的一些配置没有清除，导致配置文件不同步之类的原因，在安装rancher的机器上执行docker stop $(docker ps -aq)docker system prune -fdocker volume rm $(docker volume ls -q)docker image rm $(docker image ls -q)rm -rf /etc/ceph /etc/cni /etc/kubernetes /opt/cni /opt/rke /

原创 删除K8S集群的/var/lib/kubelet目录报Device or resource busy错误解决方法

无法删除/var/lib/kubelet目录[root@k8s-node2 k8s_node]# rm -rf /var/lib/kubeletrm: cannot remove ‘/var/lib/kubelet/pods/0552a913-ea4a-4b91-84a7-87ca6d9f8611/volumes/kubernetes.io~secret/etcd-certs’: Device or resource busyrm: cannot remove ‘/var/lib/kubelet/

原创 centos如何卸载docker

首先搜索已经安装的docker 安装包[root@localhost ~]# rpm -qa|grep dockerdocker.x86_64 2:1.12.6-16.el7.centos @extrasdocker-client.x86_64 2:1.12.6-16.el7.centos @extrasdocker-common.x86_64 2:1.12.6-16.el7.centos @extra然后分别删除安装包[root@localhost ~]#yum –y..

转载 转：docker无法删除镜像

1.使用命令查看所有镜像docker images2.根据ID删除需要删除的镜像docker rmi 4e4e466c38c1 //rmi + 自己需要删除的镜像的ID3.如果删除时出现了image is being used by stopped container的错误就先使用一下命令再执行删除指令：docker ps -a | grep "Exited" | awk '{print $1 }'|xargs docker stopdocker ps -a | grep ...

原创 反射调用get和set方法

Introspector和PropertyDescriptor关于这两个类的详细介绍，我这里就不说了，简单的理解就是对象信息的描述，里面提供了一些API方便我们拿到对象的信息直接上代码吧Object arg0 = joinPoint.getArgs()[index];List<Field> fields = Arrays.stream(arg0.getClass().getDeclaredFields()).filter(f -> { String name = f

原创 RSA加密、解密、签名、验签的原理及方法

一、RSA加密简介　　RSA加密是一种非对称加密。可以在不直接传递密钥的情况下，完成解密。这能够确保信息的安全性，避免了直接传递密钥所造成的被破解的风险。是由一对密钥来进行加解密的过程，分别称为公钥和私钥。两者之间有数学相关，该加密算法的原理就是对一极大整数做因数分解的困难性来保证安全性。通常个人保存私钥，公钥是公开的（可能同时多人持有）。　　二、RSA加密、签名区别　　加密和签名都是为了安全性考虑，但略有不同。常有人问加密和签名是用私钥还是公钥？其实都是对加密和签名的作用有所混淆。简单的说

原创 python下划线

原创 如何选用开源协议？

一张图足够说明问题了，这张图来自于阮一峰的这篇博客

转载 Python参数中使用* 和**

1. ' * ' 的作用，重要用在动态参数前，打包多个参数并将其转化为元组def func(*args): print(args)func(1, 2, 3) # (1, 2, 3)输入参数为1, 2, 3，最后返回的结果是一个元组 (1, 2, 3)。用在可迭代对象前，进行自动解包转化为多个单变量参数def func(a, b, c): print(a, b, c)args = [1, 2, 3]func(*args) # 1 2 3输入参数为一个列

原创 动态加载jar包里的类出现NoClassDefFoundError问题

一个思路：我把业务代码封装到jar包里，然后在程序中动态加载jar包，把方法反射出来然后执行业务逻辑。核心业务是这么写的String decodeClass = "";String decodeJarPath = "";decodeClass = profile.getDecodeClass();decodeJarPath = profile.getDecodeJar();if(Strings.isBlank(decodeClass)||Strings.isBlank(decodeJarP

原创 nifi processor配置无法保存问题

不多说，直接上图解决方案改为128，原来是256重启后解决

原创 nifi-1.14版本部署教程

下载链接http://nifi.apache.org/download.html注意这两个包都需要下载，第一个是nifi的程序包，第二个是nifi的工具包，后面nifi增加认证时需要用到。下载后解压到环境里（安装jdk我就不说了，这是基础的）进入toolkit主目录下，执行以下CMD./bin/tls-toolkit.sh standalone -n 'IP或域名','IP或域名' -O -S '密码' -P '密码' -c 'hostname of NiFi Certificat.

原创 springboot不加载环境配置文件application-dev.yml

问题描述：程序运行时指定了spring.profiles.active=qc环境参数，但是还是加载不上application-dev.yml配置文件，一开始以为是代码配置问题，增加--debug=true后发现程序根本没有加载application-dev.yml配置文件。无奈之下反编译jar包发现问题原因，jar包里根被没有打包进去环境配置文件然后检查mvn配置文件发现原因原来的配置只把application.yml打包进去，没打包其他配置文件，修改为*后问题解决...

原创 关于TortoiseGit无法获取GitLab上新建分支问题

问题：我在GitLab上创建了新的分支，但在TortoiseGit上切换分支的时候发现找不到。。。这个问题的原因就是本地获取的远程分支列表不是最新的，所以TortoiseGit找不到解决办法其实很简单：进入自己的项目中点击右键->打开Git Bash Here 在命令框中输入git remote update origin --prune 更新远程分支列表 重新使用TortoiseGit就可以看见最新的分支了 最近发现一个新的方法，在项目里右击->选择TortoiseGit->

原创 SpringBoot 和 Cloud里存在多个main函数导致无法启动问题

一开始使用springboot注解时没有报错。@SpringBootApplication(exclude = {DataSourceAutoConfiguration.class, DynamicDataSourceAutoConfiguration.class})但是更换为@EnableAutoConfiguration(exclude = {DataSourceAutoConfiguration.class, DynamicDataSourceAutoConfiguration.cla

转载 Apache NiFi Debug | IDEA 如何断点调试NiFi Processor

修改 NiFi主目录/conf/bootstrap.conf 配置文件,找到如下内容：# Enable Remote Debugging#java.arg.debug=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=800012取消注释第二行，address表示远程调试端口，可以自行指定。然后打开IDEA，右上角打开Run/Debug Configurations面板，Add New Configuration &g

原创 JavaCV项目部署在Linux环境时Load库路径失败的问题

在将javacv项目部署到Linux系统中时，运行项目会报以下错误：

翻译 NiFi文档

NiFi文档初识NiFi 概述 NiFi 最早是美国国家安全局内部使用的工具,用来投递海量的传感器数据.后来由 apache 基金会开源。NiFi基本设计理念：Flow Based Programming， 核心概念 FlowFile FlowFile表示在系统中移动的每个对象，FlowFile由两部分组成: content 内容，即数据本身 attributes 属性，每条数据带上的属性信息.以键值对的形式. FlowFile Processor FlowF..

原创 nifi processor方法调用记录

增加processor 调用onAddedstart动作 onScheduledstop动作 onUnScheduled》OnStoppeddelete动作 onRemoved关闭nifi OnShutdown

原创 ReentrantReadWriteLock ，synchronized和ReentrantLock的对比

synchronized我们都不陌生，我们使用他可以让我们的代码变的线程安全；而ReentrantReadWriteLock也可以达到相同的效果，但是ReentrantReadWriteLock相比synchronized有一些不同，synchronized同时只能有一个线程得到相同对象的锁，我得到了其他任何人都不能得到。而ReentrantReadWriteLock中有读锁和写锁，读读不互斥，ReentrantReadWriteLock可以允许多个线程同时得到读锁，这样在值变更比较少的情况是很实用的，大家

原创 Maven Projects for Extensions

OverviewApache NiFi extensions are packaged in NARs (NiFi archives).A NAR allows several components and their dependencies to be packaged together into a single package. The NAR package is then provided ClassLoader isolation from other NAR packages. See.

原创 软件各种版本的表示

alpha内部测试版　　beta外部测试版　　demo演示版　　Enhance增强版或者加强版 属于正式版　　Free自由版　　Full version完全版 属于正式版　　shareware共享版　　Release发行版 有时间限制　　Upgrade升级版　　Retail零售版　　Cardware属共享软件的一种，只要给作者回复一封电邮或明信片即可。（有的作者并由此提供注册码等），目前这种形式已不多见。　　Plus属增强版，不过这种大部分是在程序界面及多媒体功...

原创 prometheus、grafana、alertmanager、钉钉机器人集成教程

一、搭建prometheus使用docker方式：docker run --name=prometheus -itd -p 9090:9090 -v C:\Users\Administrator\Desktop\promethues\server\prometheus.yml:/etc/prometheus/prometheus.yml -v C:\Users\Administrator\Desktop\promethues\server\rules:/etc/prometheus/rules

转载 idea配置阿里格式化模板+注释模板

1 背景本文意在将idea中的代码格式和注释格式进行统一化。研发团队的成员的代码格式和注释格式建议统一化。统一的代码格式和注释格式，能给代码阅读上带来极大的便利，给代码改动上提高极大的效率。1.1 开发工具idea1.2 代码格式化模板阿里格式化模板1.3 注释模板（1）类模板样例/** * （自定义类描述） * @author zhangsan * @date 2020/09/08 08:23 **/public class MyTest {}（

原创 kafka消费者如何才能从头开始消费某个topic的全量

消费者要从头开始消费某个topic的全量数据，需要满足2个条件（spring-kafka）：（1）使用一个全新的"group.id"（就是之前没有被任何消费者使用过）; （2）指定"auto.offset.reset"参数的值为earliest； 对应的spring-kafka消费者客户端配置参数为：<!-- 指定消费组名 --> <entry key="group.id" value="fg11"/> <!-- 从何处开始消费,late...

原创 Scala 中 _ 代表什么

1. 作为通配符,类似Java中的*. 如 import scala.math._2. :_*作为一个整体,告诉编译器你希望将某个参数当做参数序列处理val s = sum(1 to 5:_*)就是将 1 to 5 当做参数序列处理3. 指代一个集合中的两个元素eg: 例如我们要在一个Array a中筛选出偶数, 并乘以2,可以用以下这个办法 a.filter(_%2==0).map(2*_) 又如要对缓冲数组ArrayBuffer b排序,可以这样: val

转载 spark之scala快速入门

scala和java都是在jvm之上的语言，相对来讲，scala热度比较低，其实并不是一个特别好的语言选择。原因倒不是因为scala本身的缺点，而是使用人群不够多，论坛和社区不够活跃。这就跟社交软件一样，大家都用微信，短信就没人用了。但是scala是写分布式程序的一门非常方便的语言，因为scala几乎每个对象都有map,reduce,filter等方法，这跟spark的用法简直如出一辙。多范式scala是一种多范式的语言，这也没啥特别的，就是既能面向过程又能面向对象，比如C++就是多..

原创 kafka调试工具kafkacat的使用

一、 安装kafkacat 是基于kafka C语言的librdkafka库的 kafka客户端，不依赖java，小巧轻便，支持主流系统。在高版本的debain、Ubuntu下可以直接apt-get install kafkacat，maxos下可以用brew install kafkacat也可以自己编译，也是非常简单(需要先安装好curl和cmake)apt-get install cmakegit clonehttps://github.com/edenhill/kafkacatc...

原创 Kafka分区与消费者的关系

1. 前言我们知道，生产者发送消息到主题，消费者订阅主题（以消费者组的名义订阅），而主题下是分区，消息是存储在分区中的，所以事实上生产者发送消息到分区，消费者则从分区读取消息，那么，这里问题来了，生产者将消息投递到哪个分区？消费者组中的消费者实例之间是怎么分配分区的呢？接下来，就围绕着这两个问题一探究竟。2. 主题的分区数设置在server.properties配置文件中可以指定一个全局的分区数设置，这是对每个主题下的分区数的默认设置，默认是1。当然每个主题也可以自己设置分区数量，...

转载 Kafka多个消费者监听消费同一个Topic主题

一、需求介绍有一个Topic：hw_data 有3个分区 3个副本组：hw-data-group将这个主题的消息分发给两个（或者多个）消费者消费，（不能消费相同的消息）1.图解2.关键注解@kafkaListener@Target({ ElementType.TYPE, ElementType.METHOD, ElementType.ANNOTATION_TYPE }) @Retention(RetentionPolicy.RUNTIME) @Messa

原创 Mycat查询请求数据字段显示不全问题

使用mycat进行select操作时，会出现随机性字段查找不全的问题，如何解决？查询请求明确查询字段