justlpf的专栏

转载 Hadoop集群部署-use

文件中，填入如下内容：（同时这也是三台虚拟机的ip地址）安装包、解压、配置软链接。验证进程是否都启动成功。

转载 CentOS 7 忘记密码后该怎么重置（root自定义名）密码

4.注意现在就要讲重点了，在网上一些博主讲的是把ro修改为rw，而当时我在找ro这个两个字母找的我头晕眼花就是没找到，最后最让我怀疑的就是这个r和o之间包了个反斜杠后来查阅相关资料原来这个反斜杠是由于屏幕太小自动系统自动添加的，当时我真无语了😅。长时间未用，忘记了密码登不上了，所以关于重置密码我在这里做一下总结。命令 （如果不是root，是自定义的用户名，就是以下格式。12.接下来回车就开始重启，下面这个会等待的时间长一点。9.然后输入密码，这里输入密码时没有显示个数的。2.就会进入下面那个页面。

原创 K8S上安装LongHorn(分布式块存储) --use

给节点打标签部署LongHorn官网地址: longhorn-官网安装vi longhorn.yaml查找 , 并在其中添加如下内容：添加效果参考:longhorn.yaml查看pod状态等待Pod启动：一旦存储库创建成功，系统将启动一系列的。检查的状态：确认所有的都处于""状态。设置svc服务浏览器访问在浏览器访问此端口即可接下来，您需要创建一个存储类，以便为应用程序提供块存储。您可以将以下内容保存为 文件：创建P

原创 面试几个问题总结

在Java编程中，是一个用来创建线程局部变量的类，位于java.lang包下。它的核心作用在于为每个线程提供独立的变量副本，每个线程都可以访问到自己的副本变量，而不会影响其他线程，从而在多线程环境中避免了由于共享数据而产生的同步问题。ThreadLocal的工作原理当创建一个变量后，每个线程在访问该的get()或set()方法时，都会得到或设置属于自己线程的独立变量副本。内部通过结构来实现这一特性，是一个定制化的哈希表，其键是实例，值是真正的变量副本，每个线程都有自己的。

转载 使用cert-manager实现Ingress https

超文本传输协议HTTP协议被用于在Web浏览器和网站服务器之间传递信息，HTTP协议以明文方式发送内容，不提供任何方式的数据加密，如果攻击者截取了Web浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息，因此，HTTP协议不适合传输一些敏感信息，比如：信用卡号、密码等支付信息。为了解决HTTP协议的这一缺陷，需要使用另一种协议：安全套接字层超文本传输协议HTTPS，为了数据传输的安全，HTTPS在HTTP的基础上加入了SSL协议，SSL依靠证书来验证服务器的身份，并为浏览器和服务器之间的通信加密。

转载 Spring Boot超大文件上传，实现秒传

分片上传，就是将所要上传的文件，按照一定的大小，将整个文件分隔成多个数据块（我们称之为Part）来进行分别上传，上传完之后再由服务端对所有上传的文件进行汇总整合成原始的文件。断点续传是在下载或上传时，将下载或上传任务（一个文件或一个压缩包）人为的划分为几个部分，每一个部分采用一个线程进行上传或下载，如果碰到网络故障，可以从已经上传或下载的部分开始继续上传或者下载未完成的部分，而没有必要从头开始上传或者下载。本文的断点续传主要是针对断点上传场景。通俗的说，你把要上传的东西上传，服务器会先做MD5校验。

转载 1. Docker下var/lib/docker/overlay2空间清理办法

Docker中的/var/lib/docker/overlay2目录是用于存储的数据层和镜像层的。当使用Docker一段时间后，这个目录可能会变得非常大，占用大量磁盘空间。

转载 nexus3 docker镜像清理策略-Cleanup Policies

镜像仓库，如果不设置清理策略，镜像就会越来越多，导致磁盘占用过大。nexus版本：3.28.1-01。此时查看镜像版本发现策略已经生效。使用nexus3作为。

转载 Linux OpenLDAP配置ACL

版本 CentOS。

原创 反射式编程中，Mono和Flux两个类的区别

Mono：用于处理未来可能产生的单个值或空值的场景。Flux：用于处理包含零个或多个值的异步序列的场景。两者都可以通过链式调用操作符（如map、filter、flatMap等）来构建复杂的反应式数据处理流程，并且都能够支持背压（backpressure），确保生产者与消费者之间的速度同步，避免内存溢出等问题。

转载 Kafka消费者源码：重平衡HEARTBEAT小结

消费者的心跳间隔时间由参数 heartbeat.interval.ms指定，默认值为 3000，即3 秒，这个参数必须比 session.timeout.ms 参数设定的值要小，一般情况下heartbeat.interval.ms 的配置值不能超过 session.timeout.ms配置值的1/3。消费者重平衡完成后，GroupCoordinator与消费者之间保持心跳信息，由心跳信息保证消费者与GroupCoordinator的从属关系，以及它们对分区的所有权关系的存活。a. 总结触发重平衡的原因；

转载 SpringBoot和SpringCloud对应版本关系

在项目迭代过程中，经常会升级原有组件或者接入新的组件，有时候由于版本不匹配的问题往往容易出现各种集成bug以及jar包的版本冲突的问题，Spring官方有发布SpringBoot和SpringCloud的对应关系，此处记录以防忘记。后下拉有列举SpringBoot与SpringCloud对应关系表，左边SpringCloud版本，右边是SpringBoot版本，点击左侧链接可跳转github查看具体有哪些版本号。可找到SpringCloud与SpringBoot版本关系。

转载 实用性极强的MySQL查询优化策略

按照效率排序来看，count(字段) < count(主键 id) < count(1) ≈ count(*)，所以尽量使用 count(*)

转载 如何优雅的写 Controller 层代码？

每个系统都会有自己的业务异常，比如库存不能小于 0 子类的，这种异常并非程序异常，而是业务操作引发的异常，我们也需要进行规范的编排业务异常状态码，并且写一个专门处理的异常类，最后通过刚刚学习过的异常拦截统一进行处理，以及打日志。为了跟前端妹妹打好关系，我们通常需要对后端返回的数据进行包装一下，增加一下状态码，状态信息，这样前端妹妹接收到数据就可以根据不同的状态码，判断响应数据状态，是否成功是否异常进行不同的显示。但是你要是这样返回给前端，前端妹妹就提刀过来了，当年约定好的状态码，你个负心人说忘就忘？

转载 Springboot后端数据返回前端时，不返回null的字段

方式1其实有一定的局限性。如果项目里继承了WebMvcConfigurationSupport，那么方式1配置就失效了。方式2虽然能达到效果，但是每个实体类上都加注解，实在费劲。只需要在配置文件application上，增加。这种情况下，可以在实体类上加上。的类上，进行全局配置。

原创 微服务常见的配置中心简介

这些配置中心的主要目标是实现配置的集中管理和动态更新，以降低系统的复杂性和提高运维效率。选择哪种配置中心通常取决于项目的具体需求、技术栈和团队的经验。统一的配置管理界面，支持多环境、多数据中心配置管理，以及配置修改的灰度发布。

转载 Maven无法拉取SNAPSHOT依赖的解决办法

版本的组件进行开发测试。平时自己做测试的时候，因为手里有源码，所以每次都是先执行 mvn install 在本地安装后，在新建项目引用组件进行测试，所以没有发现什么问题。根据提示执行强制拉取也无效，于是研究了下公司内其他工程是怎么配置的，之后成功拉取到了这个组件。自己所在的部门主要是为其他项目组提供基础组件，如果需要使用新特性，其他项目组还会经常引用。

原创 k8s Calico网络和flannel网络对比

选择Calico还是Flannel如果运行一个大型集群，需要精细的网络策略控制，并且愿意接受更复杂的配置过程，那么 Calico 可能是一个更好的选择。如果集群规模较小，对网络性能要求不是特别高，而且希望有一个易于管理和配置的网络解决方案，那么Flannel可能更适合你。随着时间的推移，这些网络插件也在不断演进和发展，因此，在决定之前，最好查阅最新的文档和参考资料以获取准确的信息。

原创 k8s service 内部dns 地址介绍,互相依赖Pod启动介绍

在Kubernetes（K8s）中，每个Service都有一个内部DNS名称。这个DNS名称是基于服务的名称和命名空间构建的。例如，如果有一个名为 `my-service` 的Service位于 `default` 命名空间下，那么它的内部DNS名称将是 `对于内部Pod之间的通信，可以通过使用这个内部DNS名称来访问其他Service。当一个Pod试图解析这个DNS名称时，Kubernetes会自动将其转换为对应的Cluster IP地址，然后将流量路由到正确的Service后端Pods。

转载 docker-compose.yml文件配置详解

Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose，您可以使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从 YML 文件配置中创建并启动所有服务。docker compose文件是一个yaml格式的文件，所以注意行首的缩进很严格，docker compose文件的格式很不同版本，版本不同，语法和格式有所不同。

转载 k8s对接smb/cifs存储

之前文章提到，k8s官方是支持nfs存储的，那么在windows常见的文件共享协议是否也支持呢。答案是肯定的。不过支持的方式是通过CSI接口进行支持的。官方提供的项目是csi-driver-smb经过在群晖上同时开启smb和nfs共享测试，nfs挂载模式下mysql能部署成功，smb却不能。基本可以断定：smb协议对特殊字符的文件夹和文件如#~支持不太好，不太适合有特殊字符的程序作为存储后端。

原创 Docker, Docker-compose部署Sonarqube

重启后Sonarqube会自动将jar包插件移动到。适用SonarQube版本 : 5.5--9.9。重启后Sonarqube会自动将jar包插件移动到。

原创 Docker部署NFS服务

【代码】Docker部署NFS服务。

原创 Centos7部署NFS服务

NFS 是。

原创 k8s中部署基于nfs的StorageClass

如果以docker的形式部署nfs server, 参考此步骤, 若否, 该步骤可忽略。

原创 Centos7部署NFS

NFS 是。

原创 CentOS 7 部署 MariaDB 的 2 种方法

有两种安装 MariaDB 服务器的方法。您可以安装 CentOS 7 存储库中可用的默认版本，也可以通过手动添加 MariaDB 存储库来安装最新版本。

转载 大数据开源框架技术扫盲

引言主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。目录系统平台 （Hadoop、CDH、HDP） 监控管理 （CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle） 文件系统 （HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio） 资源调度 （YARN、Mes

原创 Centos7 离线安装 CDH7.1.7

角色IPk8s-master192.168.181.129k8s-node1192.168.181.130k8s-node2192.168.181.1311.3 更改主机名和hosts1.4 关闭防火墙并重启服务器使hostname和selinux的配置生效1.5 安装NTP服务1.6 关闭透明大页1.7 磁盘写进fstab1.8 其它调优2. CDH版本选择最新版本为：Index of cm6/6.3.1/redhat7/yum/R

原创 Hadoop发行版 Cloudera CDH 6.3.2及CM 安装包下载（阿里云盘 不限速）

由于CDH已停止维护，且Cloudera不再为CDH提供免费的下载服务，因此网上很难直接下载到CDH和管理工具CM的安装包。百度云盘上的资源下载速度极慢，开了会员才下载下来。

原创 主流日志平台对比（ES, ClickHouse,Loki）

原创 centos7系统下postgresql15离线安装，卸载

ALTER ROLE名称ALTER ROLE -- 修改一个数据库角色语法这里的 option 可以是：ALTER ROLE name RESET configuration_parameter描述ALTER ROLE 修改一个数据库角色的属性。10.5 设置访问权限。

转载 Centos 7安装和配置dnsmasq详解

修改当前服务器的，dns域名服务器，指定自建的dnsmasq服务器ip。

原创 安装部署PowerDNS--实现内网DNS解析(use)

Recursordnsdist，分别用来作为权威服务器、域名递归解析、dns服务负载均衡来提供dns服务，每个服务独立存在，可按需部署。PowerDNS域名区域数据不再使用bind格式文件存储，而直接使用后端连接MySQL数据库，所有记录都存储在数据库中。：作为权威服务器使用，仅提供域名解析服务，数据来源于配置文件指定的后端，若后端不存在或者宕机解析不可用，没有递归作用。

转载 CentOS7 yum方式安装MySQL5.7

参考文章：CentOS7 yum方式安装MySQL5.7

转载 Kubernetes权限管理

metadata:一个简单的 ServiceAccount 只需要简单的 namespace 和 name 即可。UserGroupGroup，就是一组用户的意思。如果为Kubernetes配置了外部认证服务，这个用户组就由外部认证服务提供。而对于 Kubernetes 内置用户 ServiceAccount 来说，其也有用户和用户组的概念，其中，对于一个，在Kubernetessystem:serviceaccount:<ServiceAccount名字>而对于其用户组，在。

转载 kubernetes集群安全机制

Token Controller也监听Service Account的事件，如果发现在新建的Service Account里没有对应的Service Account Secret，则会用APIServer私钥（--service-account-private-key-file指定的文件）创建一个Token，并用该Token、api-server的CA证书等三个信息产生一个新的Secret对象，然后放入刚才的Service Account中。用户自定义的其他Secret用于用户的进程中。

原创 k8s从私有仓库拉取镜像

docker在个人电脑上，要想拉取私有镜像必须在镜像仓库上进行身份验证。使用docker命令工具来登录到 Docker Hub。更多详细信息，请查阅中的部分。当出现提示时，输入你的Docker ID和登录凭据（访问令牌或 Docker ID 的密码）。登录过程会创建或更新保存有授权令牌的文件。查看。查看authcredsStore。

转载 Elasticsearch 7.X 中文分词器 ik 使用，及词库的动态扩展

分片和水平扩容，前面再使用的时候应该就会发现，在做match 匹配时，默认会进行分词，但当查询内容是中文时，分词效果是一个字被认定了一个词，这显然不符合我们对中文分词的效果，因此本篇我们讲解下ES中中文分词器ik 的使用。上面已经实现了动态词库的效果，上面使用的都是直接使用分词器进行测试的，在实际使用中不可能这样做的，都是去查询数据的，所以这里就会出现一个问题。注意更新索引，会影响线上的es的 qps，尽量选择夜深人静的时候进行更新。此时就实现了，无需重启es，热更新词库的效果了。

转载 docker 安装 OpenLDAP 及 LdapAdmin桌面版、页面版(osixia/openldap)

(注：配置注释文件为：/var/www/phpldapadmin/config/config.php.example）选中People，右键New–User，如下，建立一个用户名为wangwu，展示名为王五的用户，点击ok。接下来使用 LdapAdmin页面版 进行关联，进到 Ldap web docker容器中。点击用户导入，直接把王五导入到了堡垒机的用户列表中了。找到这行信息之后，复制其中一行，粘贴。然后点击王五，就可以看到他的所有信息了。，我们可以在这里开始新建用户，退出容器，重启容器，进行登录；