![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
运维
文章平均质量分 50
lizz666
不积跬步无以至千里
展开
-
Elasticsearch ES操作:查询数据(全部、分页、单条、组合条件)
在使用ES时经常需要通过接口或者查询工具查找ES中的数据,需要了解基本的查询命令。如精确查询,模糊匹配,多条件查询等。原创 2023-04-21 15:45:37 · 6610 阅读 · 1 评论 -
RocketMQ:新增consumer消费组group从最新消息开始消费skip last offset message
想创建一个新的consumer去消费一个已经再使用的topic时,默认情况下会从topic中的第一条消息开始消费,大多数情况是需要从最新的消息开始。然后再使用CONSUME_FROM_LAST_OFFSET设置时并不会对新的consumer生效,它只是在停用consumer重新启用时,如果之前订阅OFFSET消息已经不存在了(默认rocketmq中存放的消息是72小时)就会从最后一条开始。所以代码层面无法实现新的consumer订阅topic最新消息开始消费的操作。原创 2024-05-15 16:49:31 · 618 阅读 · 1 评论 -
RocketMQ:broker配置说明
66. maxTransferBytesOnMessageInMemory: 内存中消息的最大传输字节数。14. maxTransferCountOnMessageInMemory: 内存中消息的最大传输计数。38. maxTransferBytesOnMessageInDisk: 磁盘上消息的最大传输字节数。71. deleteConsumeQueueFilesInterval: 删除消费队列文件的时间间隔。36. deleteCommitLogFilesInterval: 删除提交日志文件的时间间隔。原创 2024-05-14 17:33:27 · 1282 阅读 · 0 评论 -
RAID 技术:原理、级别、优缺点及应用
RAID(Redundant Array of Independent Disks),即独立磁盘冗余阵列,是一种将多个磁盘组合成一个逻辑磁盘的技术。它通过将数据分散存储在多个磁盘上,来提高数据的冗余性和可用性。RAID 技术在服务器、存储设备等领域得到了广泛应用。它可以有效地提高存储系统的性能、可靠性和安全性。原创 2024-05-05 17:33:11 · 971 阅读 · 0 评论 -
rocketmq dashboard控制台中topic状态无法展示
在使用rocketmq控制台查看topic状态和订阅状态时,出现错误和没有信息的情况。原创 2024-04-29 16:11:45 · 626 阅读 · 0 评论 -
linux命令:scp远程拷贝命令
SCP(Secure Copy)是用于在 Linux 之间安全地复制文件和目录的命令。它使用 SSH 协议进行数据传输,因此提供与 SSH 相同级别的安全性,包括加密和身份验证。原创 2024-04-29 15:41:52 · 501 阅读 · 0 评论 -
分片技术:一致性哈希和普通哈希的区别
一致性哈希和普通哈希是两种不同的哈希技术,它们有着不同的设计原理和应用场景。原创 2024-03-25 18:31:02 · 348 阅读 · 0 评论 -
Redis:操作命令和使用方式
Redis是一款高性能的开源内存数据库,被广泛应用于缓存、消息队列和实时统计等场景。本文将介绍Redis的一些常用命令、用例以及注意事项,帮助读者更好地理解和使用Redis。原创 2024-02-01 18:17:23 · 1046 阅读 · 1 评论 -
Redis:bigkeys内存分析
随着时间流逝,redis内存逐步增大,需要对redis内存进行清理,发现问题,解决问题。原创 2024-02-01 18:07:44 · 745 阅读 · 0 评论 -
如何查看本地外网ip
【代码】如何查看本地外网ip。原创 2024-01-24 14:23:25 · 438 阅读 · 0 评论 -
arthas常用命令,排查cpu和内存场景
查看jvm总体信息,包括线程,内存和运行环境。原创 2023-09-04 07:00:00 · 4652 阅读 · 0 评论 -
actuator/prometheus使用pushgateway上传jvm监控数据
在pushgateway面板中会显示新增的服务,在prometheus中也可能看到采集的数据。原创 2023-08-15 17:46:25 · 1299 阅读 · 0 评论 -
Grafana展示k8s中pod的jvm监控面板/actuator/prometheus
为保障java服务正常运行,对服务的jvm进行监控,通过使用actuator组件监控jvm情况,使用prometheus对数据进行采集,并在Grafana展现。基于k8s场景。原创 2023-08-12 17:20:37 · 2669 阅读 · 0 评论 -
在线性能分析工具Arthas基于Springboot安装配置使用和Arthas Tunnel安装配置使用
Arthas 是一款线上监控诊断产品,通过全局视角实时查看应用 load、内存、gc、线程的状态信息,并能在不修改应用代码的情况下,对业务问题进行诊断,包括查看方法调用的出入参、异常,监测方法执行耗时,类加载信息等,大大提升线上问题排查效率。通过 Arthas Tunnel Server/Client 来远程管理/连接多个 Agent。原创 2023-07-10 16:29:18 · 2244 阅读 · 0 评论 -
linux中系统性能监测命令sar,查看cpu、内存、磁盘、网络等使用情况
【代码】linux中系统性能监测命令sar,查看cpu、内存、磁盘、网络等使用情况。原创 2023-06-08 14:22:19 · 4210 阅读 · 0 评论 -
redis-cli客户端链接redis集群获取数据错误(error) MOVED
在使用redis-cli客户端命令链接redis集群时,获取数据时出现"(error) MOVED 11250 192.168.1.111:7021",使用telnet链接错误为"-MOVED 11250 192.168.1.111:7021"。原创 2023-06-07 18:35:17 · 548 阅读 · 0 评论 -
Elasticsearch(ES)配置及优化
在Elasticsearch中,索引的大小和存储能力取决于多个因素,包括文档大小、索引的分片数、硬件规格、查询负载和其他因素。索引和分片配置:索引和分片的数量和配置会对查询并发性能产生影响。如果索引和分片的数量太少,可能会导致查询性能不佳,而如果数量过多,可能会增加网络和节点之间的通信开销。因此,需要根据实际的查询负载和数据量进行合理的索引和分片规划。硬件资源:硬件资源,如CPU、内存、磁盘I/O等也会影响查询并发性能。原创 2023-02-15 14:08:54 · 2799 阅读 · 0 评论 -
SonarQube:数据库统计项目质量情况
使用SonarQube进行代码质量检查是,想导出检查结果编译记录和展现,除了一些导出插件外,可以通过数据库查询的方式根据需要查询想要的结果。原创 2022-12-16 18:48:53 · 631 阅读 · 0 评论 -
SonarQube:质量阀值配置
根据开发团队情况,设置适当的质量阀,保证当前项目质量通过。第一次时质量问题肯定很多,可以根据项目情况设置合理的质量阀值,逐步提高代码质量。原创 2022-11-10 10:24:10 · 2915 阅读 · 0 评论 -
SonarQube安装及中文汉化版
安装中文包查找插件搜索chinese插件,并进行安装 重启生效 搞定原创 2022-11-04 10:46:01 · 938 阅读 · 0 评论 -
idea中操作git的reset版本回滚操作
在项目修改过程中,git中提交不想要的版本,想要回滚到之前的某一个版本重新开始工作,需要用git的reset操作进行回滚,这里和revert有区别。reset是直接回滚到某一个版本,将这个版本之后的所有版本丢弃。revert是指定取消某一个版本的提交。原创 2022-10-27 17:56:29 · 2039 阅读 · 0 评论 -
git push错误:You are not allowed to force push code to a protected branch on this project
本地使用 git push --force origin 命令强制推送时,出现“You are not allowed to force push code to a protected branch on this project”错误,意为该分支为受保护的,不允许这类操作,可以通过git管理后台关闭该项目分支的保护状态处理。原创 2022-10-27 17:36:36 · 12131 阅读 · 0 评论 -
maven本地仓库同步上传到nexus远程仓库
场景 因远程nexus仓库数据丢失,历史版本组件包全部丢失,一个个项目重新打包上传工作量巨大,切很多历史版本无法找到。因此可以通过上传本地仓库中的组件包进行补充。操作第一步:创建自己远程仓库(也可以使用现有的),需要使用管理登录选择maven2(hosted)方式创建仓库配置查看仓库信息复制仓库路径,上传时需要用第二步:准备上传组件包创建操作目录sudo mkdir /opt/maven-repocd /opt/m...原创 2022-05-26 01:24:35 · 5284 阅读 · 0 评论 -
idea maven集成sonarqube组件
场景在持续集成过程中,需要用sonarqube进行代码质量检查,为了在开发过程中进快速检查,官方提供了一种集成开发的方式。这里主要使用maven集成方式。环境配置步骤1:maven环境配置,在maven的setting.xml的pluginGroups和profiles标签中增加如下内容。 <pluginGroups> <!-- pluginGroup | Specifies a further group identifier...原创 2022-05-20 18:45:29 · 1902 阅读 · 0 评论 -
zookeeper操作命令
客户端连接zk服务器bin/zkCli.sh -server 127.0.0.1:2181 stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] setAcl path acl setquota -n|-b val path history redo cmdno printwatches on|off delete path [v..原创 2022-05-06 18:44:50 · 802 阅读 · 0 评论 -
Canal查看instance消费位点信息
使用zkcli命令连接集群zk get命令查看/otter/canal/destinations/{instance}/1001/cursor节点信息,instance为canal instance名称。get /otter/canal/destinations/ins-lizz/1001/cursor{ "@type": "com.alibaba.otter.canal.protocol.position.LogPosition", "identity": { .原创 2022-05-06 17:47:32 · 694 阅读 · 0 评论 -
Canal监控数据采集展示prometheus+grafana
Prometheus采集- job_name: 'canal' static_configs: - targets: ['10.2.55.30:11112','10.2.55.31:11112'] # canal server metric地址Grafana展示模板源码地址canal/deployer/src/main/resources/metrics/Canal_instances_tmpl.json{ "__inputs": [ { ..原创 2022-04-25 18:13:38 · 1082 阅读 · 0 评论 -
Canal adapter处理过程源码解析
CanalAdapterLoader.init:启动初始化 AdapterProcessor.start:开启处理器 AdapterProcessor.process:消费处理器 AdapterProcessor.writeOut:处理同步消息 AdapterProcessor.batchSync:使用配置的多个OuterAdapter处理器处理消息 OuterAdapter.sync:处理器处理内容,如LoggerAdapterExample、ESAdapter等 CanalMsgConsum原创 2022-04-25 17:56:53 · 515 阅读 · 0 评论 -
Canal Client Adapter消息Dml格式说明
在adapter配置中outerAdapters使用logger可以看到输出的dml内容canalAdapters: - instance: canal_15_test31 # canal 实例名或者 MQ topic 名 groups: # 适配器组,支持多个不同入库数据源 - groupId: lizz-test2 # 分组id, 如果是MQ模式将用到该值 outerAdapters: # 分组内适配器列表 - name:原创 2022-04-25 17:38:52 · 619 阅读 · 0 评论 -
Canal集群模式配置管理
在canal admin中进行管理和配置创建集群集群名称:集群标识,可以创建多个集群 zk地址:该集群canal server节点注册地址,用于集群节点管理集群操作主配置:该集群下所有canal server节点的统一配置管理,集群中的节点不能单独调整配置。 修改集群:集群名称及zk地址调整 删除集群:删除不用集群,需要删除集群下的server,及server下的instance 查看Server:跳转到Server管理页面集群配置基本同单机server一样,多了一.原创 2022-04-25 10:57:09 · 1017 阅读 · 0 评论 -
canal instances启动异常:show binlog events limit 1 has an error
现象在instances配置指定binlog消费时,没指定binlog文件时,如只指定了起始消费时间,出现了读取异常。# binlog的pos位点信息canal.instance.master.address=10.2.55.55:3306#mysql起始的binlog文件canal.instance.master.journal.name= #mysql起始的binlog偏移量canal.instance.master.position= #mysql起始的binlo...原创 2022-04-21 18:37:56 · 1366 阅读 · 0 评论 -
Canal数据同步使用手册1.1.5
CanalAdapter1.1.5版本问题收集 Canal最新1.1.4版安装部署(1) Canal adapter1.1.5安装部署es为例(3) Canal Adapter1.1.5版本API操作服务,手动同步数据(4)原创 2021-01-18 18:21:29 · 2020 阅读 · 0 评论 -
Linux命令:查看文件系统磁盘空间
Linux 查看磁盘空间 | 菜鸟教程df(Display Filesystem)查看文件系统df: 以磁盘分区为单位查看文件系统,可以获取硬盘被占用了多少空间,目前还剩下多少空间等信息,空间单位默认为K。-h:(human),数字大小可读性,显示为如1M,1G单位-T:Type 显示文件系统类型-t :--type=Type 显示类型为Type的文件系统字段含义Filesystem:文件系统 Type: 文件系统类型 Size: 分区大小 Used: 已使用...原创 2022-01-25 17:52:33 · 3755 阅读 · 0 评论 -
Linux免密登录环境设置
说明需求:登录机免密登录到远程机中 登录机:用户所在服务器 远程机:需要免密登录的服务器第一步:创建登录机ssh密钥创建ssh密钥命令ssh-keygen创建密钥命令后的操作# 生成的密钥文件存放目录,直接回车默认为/root/.ssh/id_rsaEnter file in which to save the key (/root/.ssh/id_rsa):# 创建密钥的密钥,直接回车,可以不填Enter passphrase (empty for no passphra.原创 2022-01-24 18:02:10 · 3155 阅读 · 1 评论 -
dependency-check安全漏洞扫描:rxnetty,spring_framework等版本问题
现象最近在使用dependency-check做项目安全漏洞检查时,发现有一个严重漏洞无法修复。rxnetty-0.4.20.jarrxnetty-servo-0.4.9.jar原创 2021-10-21 16:19:16 · 3829 阅读 · 0 评论 -
linux查看zookeeper版本
命令echo stat|nc {ip} {port}输出lizzdeMacBook-Pro:~ lizz$ echo stat|nc 10.22.55.32 2181Zookeeper version: 3.4.5-cdh6.2.0--1, built on 03/14/2019 06:15 GMTClients: /10.22.23.15:59227[0](queued=0,recved=1,sent=0) /10.22.55.32:59944[1](queued=0,recved原创 2021-09-16 18:14:09 · 9437 阅读 · 0 评论 -
Java访问获取LDAP用户信息
数据准备在gitlab配置文件/etc/gitlab/gitlab.rb中可以看到相关配置gitlab_rails['ldap_servers'] = YAML.load <<-'EOS' main: # 'main' is the GitLab 'provider ID' of this LDAP server label: 'LDAP' host: '10.10.10.10' port: 389 uid: 'uid' bind原创 2021-08-19 13:57:31 · 1067 阅读 · 0 评论 -
cachecloud:安装部署(一)
下载源码可以本地调试、打包。源码下载:https://github.com/sohutv/cachecloud.git创建数据库cachecloud持久化基于mysql,缓存使用redis。新建一个数据库,如cachecloud 分别使用cachecloud/cachecloud-web/sql/2.0.sql和update2.0-2.1.sql初始化数据库内容修改配置application.yml配置management: server: port: 9001原创 2021-05-07 16:33:41 · 1220 阅读 · 0 评论 -
SkyWalking8配置:忽略采集跟踪路径
忽略路径目的:很多插件中包含心跳请求,导致APM上传了很多不需要监控的路径,可以通过忽略这些路径减少上传分析的数据。配置:将客户端agent包中optional-plugins文件夹下的apm-trace-ignore-plugin-8.1.0.jar拷贝到plugins下。 在客户端agent在中创建apm-trace-ignore-plugin.config配置文件,该文件在apm-trace-ignore-plugin-8.1.0.jar包中也有。 修改apm-trace-ignore原创 2020-08-17 16:57:05 · 7872 阅读 · 14 评论 -
kibana去重统计和分组统计
新建可视化统计选择数据表格展现方式选择数据源去重统计举例:这里统计的是24小时内,请求config路径返回401的手机号数量数据筛选条件 数据时间段条件 Aggregation:统计类型,选择 unique Count,去重统计 Field: 统计字段,这里统计手机号 执行统计操作 显示统计结果分组统计举例:在上面的基础上,对请求版本字段进行分组基于上面一个的手机号去重统计结果,也可以不需要。 分组统计指标 Aggregation:聚合类...原创 2020-08-06 16:02:42 · 25548 阅读 · 0 评论