- 博客(379)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Canal集群高可用模式实战，canal1.1.6实现mysql8.0数据增量/全量同步到elasticsearch7，保姆级教程...
一、canal简介主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。Canal的工作原理：登录后复制 1.canal模拟mysql sllave的交互协议，伪装自己为mysql salve；2.mysql master收到dump请求，开始推送binary log给 slave(也就是canal...
2024-07-16 11:48:02
767
原创 Shenyu神禹网关介绍
神禹网关介绍Shenyu网关是使用Java WebFlux编写的响应式API网关，具有异步高性能以及可跨语言的特点。其主要特点如下：支持HTTP、Dubbo、 Spring Cloud、 gRPC、 Motan、 Sofa、 Tars 等协议采用插件化设计思想，插件热插拔，易扩展灵活的流量筛选，能满足各种流量控制内置鉴权、...
2024-04-03 15:23:15
225
原创 Canal 从原理、配置出发，从0到1完成Canal搭建
简介Canal 翻译为管道，主要用途是基于 MySQL 数据库的增量日志 Binlog 解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的...
2024-04-03 14:46:57
745
原创 Linux 企业面试基础篇-中间组件（2）
本篇介绍LINUX常用的基础组件的工作原理，在面试的过程中相关组件的基础原理是必不可少的。1.Nacos的工作原理主要包括以下几个方面：登录后复制 1. 注册中心：Nacos作为一个服务注册中心，服务提供者会将自己的服务实例信息注册到Nacos中心，包括服务名、IP地址、端口等信息。消费者可以通过Nacos中心获取到服务...
2024-02-29 14:35:51
359
原创 Linux 企业面试基础篇-基础篇（1）
Raid 1 2 3 4 5 区别和工作原理？登录后复制 RAID 0,1需要2块一样容量的硬盘。raid5需要3块。raid10需要4块RAID 0的缺点是不提供数据冗余，因此一旦用户数据损坏，损坏的数据将无法得到恢复。RAID 1又称为Mirror或Mirroring(镜像)，它的宗旨是最大限度的保证用户数据的可...
2024-02-28 18:13:20
511
原创 Linux安装Zookeeper可视化客户端ZUI
前提：zookeeper 可视化WEB工具zkui依赖java环境，因此需要安装jdk,同时zkui源码要Maven编译，需要安装apache-maven。JDK下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-213...
2024-02-27 18:55:57
862
原创 kafka监控工具Kafka-Eagle
1. eagle 下载地址登录后复制 官网：https://www.kafka-eagle.org/GitHub: https://github.com/smartloli/kafka-eagle下载地址: kafka-eagle-bin-2.0.4.tar.gz官网安装指引：Kafka Install on Li...
2024-02-27 18:19:00
216
原创 Linux搭建Kafka集群&Zookeeper
# kafka源码编译安装准备三台服务器登录后复制 192.168.xxx.xxx 192.168.xxx.xxx 192.168.xxx.xxx1.2.3.安装kafka前安装JDK和zookeeper如下步骤：JDK配置安装登录后复制 官网地址( https://www.oracle.com/cn/...
2024-02-27 15:04:02
744
原创 NLP 搭建Linux多用户共用Anaconda环境
下载 Anaconda3地址：https://www.anaconda.com/download/ 这里我下载的是 Anaconda3-2023.09-0-Linux-x86_64.sh安装Anaconda环境1. 进入root用户， 安装Anconda。2. 注意下面安装路径不要放在默认的/root/anaconda3...
2023-10-25 13:02:56
285
原创 Sonar跨服务扫描Jenkins Job
需求：验收环境新增sonar扫描，(困难点：验收环境jenkins和开发环境sonar不通，验收环境没有办法重新安装Sonar，数据库等服务。解决方法：验收Jenkins和开发环境jenkins做免密，通过修改验收环境jenkins，maven编译扫描到开发环境的sonar上。)Sonar地址：192.168.1.100...
2023-10-12 10:28:08
278
原创 Linux安装Solr-8.9.0
Solr的工作原理可以简单地概括为以下几个步骤：1. 索引创建：首先，Solr需要创建一个索引，用于存储要搜索的数据。索引是基于Apache Lucene构建的，它将文档拆分为字段，并对字段进行分析和标记化，以便进行更有效的搜索和匹配。2. 数据导入：Solr可以从多种数据源导入数据，包括数据库、文件、Web服务等。数...
2023-08-15 19:38:39
441
原创 Perl编写磁盘，内存告警钉钉脚本
#!/bin/bash#需求磁盘和内存不足%5、%10、%15告警。DISK_THRESHOLD_5=5DISK_THRESHOLD_10=10DISK_THRESHOLD_15=15MEMORY_THRESHOLD_5=5MEMORY_THRESHOLD_10=10MEMORY_THRESHOLD_15...
2023-08-09 11:48:49
129
原创 如何生成和查看dump文件？
前言在日常开发中，即使代码写得有多谨慎，免不了还是会发生各种意外的事件，比如服务器内存突然飙高，又或者发生内存溢出(OOM)。当发生这种情况时，我们怎么去排查，怎么去分析原因呢？这时就引出这篇文章要讲的dump文件，各位看官且往下看。什么是dump文件dump文件是一个进程或者系统在某一个给定的时间的快照。dump文件是用...
2023-07-25 10:17:18
3136
原创 Linux安装自动化测试工具AutoMeter
官方地址： https://gitee.com/season-fan/autometer-api 描述：AutoMeter是一款针对分布式服务，微服务API做功能和性能一体化的自动化测试平台,一站式提供项目管理，微服务，API接口，用例，环境管理，测试管理，前置条件，测试集合，变量管理，测试计划，Mock，测试报告等...
2023-07-13 17:01:57
575
原创 什么是http？
一、什么是http？Http协议即超文本传送协议 (HTTP-Hypertext transfer protocol) 。它定义了浏览器(即万维网客户进程)怎样向万维网服务器请求万维网文档，以及服务器怎样把文档传送给浏览器。从层次的角度看，HTTP是面向(transaction-oriented)应用层协议，它是万维网上能...
2023-03-21 14:07:05
205
原创 实现用linux访问windows的共享文件？
一、什么是samba ？搭建Samba服务器是为了实现Linux共享目录之后，在Windows可以直接访问该共享目录。现在介绍如何在ubuntu 16.04系统中搭建Samba服务。二 、samba安装sudo apt-get install samba samba-common运行截图如下： 三、配置-ubuntu侧1....
2023-03-20 17:51:12
484
原创 Linux查看硬件超强命令SAR
一、概述sar(System Activity Reporter，系统活动情况报告)是Linux下系统运行状态统计工具，可从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC有关的活动等。算是一个万能的小能手。二、安装ubuntu下：root@u...
2023-02-23 14:41:35
281
原创 MySQL数据库空间用满时，巧用软链接转移。
参考：http://www.webhostingtalk.com/showthread.php?t=1086919对于一些做SEO的人来说，/var/lib/mysql 和 /var/www 是两个占用空间的大户，下面以数据库为例，将/var/lib/mysql下的数据库移动到较大的/home下，并使用软链接将/...
2022-12-29 14:32:36
1039
原创 Linux基础
linux编辑文本(vim)时跳转到最后一行和第一行及相关指令vi操作1.跳到文本的最后一行：按“G”,即“shift+g”2.跳到最后一行的最后一个字符 ： 先重复1的操作即按“G”，之后按“$”键，即“shift+4”。3.跳到第一行的第一个字符：先按两次“g”，4.跳转到当前行的第一个字符：在当前行按“0”。5.vi...
2022-12-22 15:33:20
90
原创 普通用户服务使用perf命令解决小方法
perf是Linux下的一款性能分析工具，能够进行函数级与指令级的热点查找，其使用方法很多，最常用的有以下四种：报错如图所示：根据提示需要在内核添加相关配置，配置如下：perf很多用法需要root权限，另外可能还需要配置这些内核参数：执行 echo -1 ，echo 0 完成后执行perf top 即可。完成。 ...
2022-10-13 15:28:36
397
原创 Linux父进程为1怎么kill
linux 杀死进程kill 等用法：kill -9 $(ps -ef | grep process_name | grep -v grep | awk '{print $2}')
2022-09-27 10:06:29
2341
原创 Linux部署安装Zabbix5.0（超详细）
Zabbix 官网推荐安装步骤：https://www.zabbix.com/cn/download?zabbix=5.0&os_distribution=centos&os_version=7&db=mysql&ws=apache#关闭防火墙和 selinux 并重启sed -i ...
2022-06-17 17:28:23
1168
1
原创 Gerrit码仓之分配权限使用方法秘籍
描述：百度百科：Gerrit，一种免费、开放源代码的代码审查软件，使用网页界面。需求：根据公司要求配置管理Gerrit码仓，因Gerrit的自身界面以及长时间使用gitlab的习惯，一时间无法快速上手故此留此篇。1 设置项目管理员免密访问 Gerrit项目管理员在Gerrit上做任何配置之前，需要先设置好与Ger...
2022-04-12 15:58:27
3801
原创 shell脚本git批量拉取代码
前言：此代码只可做参照，因每个项目不同，拉取代码的方式不同此项目有多个服务微服务架构：pay-parent-pom pay-soa-base pay-spi 等 因此更新每个服务需要将服务git pull，很费时间，所以写了此shell脚本，一键更新所有的服务至最新。思想：遍历所有的dirs服务列表，一个个命令更新执行。代...
2022-03-29 11:39:19
1204
原创 CentOS7-MongoDB分片集群搭建
MongoDB分片集群架构config配置节点集群搭建shard分片集群搭建route路由节点搭建集群安全认证配置MongoDB分片集群架构config配置节点集群搭建wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.4.0.tgz ...
2022-01-07 13:09:02
826
原创 linux操作系统centos7.9 mysql8.0 主从数据同步
mysql主从复制原理：Master将数据改变记录到二进制日志(binary log)中，也就是配置文件log-bin指定的文件，这些记录叫做二进制日志事件(binary log events)；Slave 通过 I/O 线程读取 Master 中的 binary log events 并写入到它的中继日志(relay ...
2022-01-06 12:57:03
1108
原创 MySQL8.0 无网安装
1.准备提前用download下载的 rpm包； yum install --downloadonly --downloaddir=/export/ #downlaod命令；【金山文档】 https://kdocs.cn/l/cvvUDyc4opzx 下载地址；2.进行rpm安装，rpm -ivh *.rpm ...
2022-01-05 17:21:18
1342
原创 CentOS7安装 Opengrok-0.12.1.6
Opengrok 用于管理多项目的代码非常方便。本文以Opengrok-0.12.1.6 来讲解在RedHat Enterprise Linux上的部署;github地址：http://opengrok.github.io/OpenGrok/软件依赖准备: JAVA http://w...
2021-12-27 11:40:17
389
原创 Sonarquber之Gerrit构建后自动发送邮件
软件简介Sonar(SonarQube)是一个开源平台，用于管理源代码的质量。Sonar 不只是一个质量数据报告工具，更是代码质量管理平台。支持的语言包括：Java、PHP、C#、C、Cobol、PL/SQL、Flex 等。主要特点：代码覆盖：通过单元测试，将会显示哪行代码被选中改善编码规则搜寻编码规则：按照名字，插件，激活级别和类别进行查询项目搜寻：按照项目...
2021-09-06 15:09:23
923
原创 redis导入导出工具-redis-dump,centos7安装使用
安装 redis-dumpyum install centos-release-scl-rh -y#配置yum仓库yum install rh-ruby23* -y#安装其他工具，不安装后面可能会报错scl enable rh-ruby23 bashruby -v#查看版本gem install redis-dump -Vredis-dump导出数据redis-dum...
2021-08-18 14:08:27
204
原创 线上java项目cpu突然飙升100%怎么排查？
线上java项目cpu突然飙升100%怎么排查？第一步：top shift+m (排序)第二步：top Hp id第三步：printf ‘%x’id第四步：jstack id >*.txt线上java项目内存突然飙升怎么排查？第一步： jmap -dump:format=b,file=heap.hprof id第二步：下载生成 heap.hprof 分析第三步： 下载 e...
2021-07-19 13:55:41
220
原创 setfacl命令的基本用法
1、setfacl的用途setfacl命令可以用来细分linux下的文件权限。chmod命令可以把文件权限分为u,g,o三个组，而setfacl可以对每一个文件或目录设置更精确的文件权限。换句话说，setfacl可以更精确的控制权限的分配。比如：让某一个用户对某一个文件具有某种权限。这种独立于传统的u,g,o的rwx权限之外的具体权限设置叫ACL(Access Control List)ACL...
2021-07-14 14:10:56
8106
原创 CentOS7安装nvidia-docker
依赖条件 安装 nvidia-docker 启动 nvidia-docker 服务 使用 nvidia-docker依赖条件如果使用的 Tensorflow 版本大于 1.4.0，要求 CUDA 9.0 以上版本。安装 nvidia-docker下载安装包：$ wg...
2021-06-28 16:44:05
249
原创 Sonar-Qube 生成PDF报告发送指定邮箱
cd /export/sonar-scanner/bin &&./sonar-scanner -e -Dsonar.host.url=http://localhost:9000 -Dsonar.scm.disabled=true -Dsonar.language=java -Dsonar.projectNam...
2021-06-25 13:32:57
800
原创 centos7安装杀毒软件ClamAV
centos7安装杀毒软件ClamAV 最近阿里云服务器在半年内中了两次挖矿病毒，于是想着安装个杀毒软件试试，网上查了一下决定试一下ClamAV，结果最后发现该杀毒软件对挖矿病毒无效，因为杀毒软件是针对文件的，但是挖矿病毒的最大特点就是挖矿脚本执行后会自我删除，然后通过另一个脚本跟定时...
2021-05-24 14:05:39
4997
1
原创 error: /lib64/libpthread.so.0: symbol h_errno
error: /lib64/libpthread.so.0: symbol h_errno, version GLIBC_PRIVATE not defined in file libc.so.6 with link time reference我使用SSH连接到没有root访问权限的计算机。要安装某些软件，我从计算机上载了库，并将它们放在~/lib远程主机的目录中。现在，对于...
2021-05-13 16:01:44
4618
原创 检查服务端口是否正常，如果不正常则自动启动服务！
需求：netstat -anpt | grep 9035检测9035端口是否启用 ，如果启用，则结束，如果未启用，则，killall java 等待20秒后执行 service red5 start 然后美 4个小时执行一次vi /sbin/checkred5.sh#!/bin/bashnetstat -anpt | grep 9035 | grep LISTEN >...
2021-05-13 10:01:11
284
原创 一个简单的基于jenkins的部署回滚脚本
部署脚本如下：#!/bin/bashBUILD_ID=DONTKILLMEDATE=`date +%Y%m%d%H%M`echo ${DATE} >> /home/ver.txtmkdir /home/${DATE}mkdir /home/${DATE}/appcp -r /home/app/* /home/${DATE}/app/rsync -av --exclu...
2021-05-10 14:20:27
258
原创 强制Umount NFS终极手法
当Umount一个目录时，提示device is busy，umount加参数f，是强制执行umount，但是许多时候均不会成功。 原理上要想umount，首先要kill正在使用这个目录的进程。*假设无法卸载的设备为/dev/sdb11)运行下面命令看一下哪个用户哪个进程占用着此设备 fuser -m -v /dev/sdb12)运行下面命令杀掉占用此设备的进程 fus...
2021-04-08 14:22:19
2091
原创 Linux修改系统时间为东八区北京时间（上海时间）
Linux修改系统时间为东八区北京时间(上海时间) 1. Linux时间# Linux的时间分为 System Clock(系统时间)和 Real Time Clock(硬件时间，简称RTC)。 系统时间：指系统内核中的时间。 硬件时间：指主板上的时间。2. 查看系统时间#Copydate3. 查看硬件时间#Copyhwclock4...
2021-04-01 17:04:17
364
windows主从同步
2018-06-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人