- 博客(35)
- 收藏
- 关注
RSS订阅原创 PG监控小工具
PostgreSQL的监控方案目前使用比较多的有zabbix和prometheus，第三方提供了一些监控模板直接导入即可，也可以根据自己关注点自定义监控指标。但是这些监控安装和配置比较麻烦，本文介绍一款轻量级的监控小工具Sampler，Sampler是用于Shell命令执行，可视化和警报的监控工具。只需要配置一个简单的YAML文件即可。安装wget https://github.com/sqshq/sampler/releases/download/v1.1.0/sampler-1.1.0-linu.
2020-12-30 13:57:25
995
1
原创 PostgreSQL如何控制客户端连接超时
1.空闲长事务连接使用idle_in_transaction_session_timeout参数，默认值是0，不开启，例如配置为5分钟。idle_in_transaction_session_timeout = 5min注意：该参数对idle正常连接无影响。2.空闲连接可使用扩展插件pg_timeout插件，配置postgresql.confshared_preload_libraries = 'pg_timeout'pg_timeout.naptime=60 #单位为秒p
2020-12-30 13:48:21
7659
原创 pg_probackup
简介pg_probackup是一个管理PostgreSQL数据库集群备份和恢复的工具。它的设计目的是对PostgreSQL实例执行定期的完整和增量的页面级备份，以便在发生故障时恢复服务器，与oracle rman类似，pg_probackup支持postgresql-9.5及更高版本。pg_probackup优点：1.增量备份：支持三种不同模式(PAGE,DELTA,PTRACK)2.增量合成：将增量备份合并到全量备份形成新的全量而不进行实际的数据恢复3.数据有效性自动/手动检测(开启d
2020-12-30 13:47:03
499
原创 pgbackrest 用于 postgresql 的备份还原
一、pgbackRest介绍pgBackRest旨在成为一种简单，可靠的备份和还原解决方案，通过利用针对特定数据库需求进行了优化的算法，可以无缝地扩展到最大的数据库和工作负载。pgBackRest v2.23是当前的稳定版本。发行说明在“ 发行”页面上。v1的文档可以在这里找到。v1没有计划进一步的发行版，因为v2与v1选项和存储库向后兼容。二、pgbackRest特征1.并行备份和还原2.本地或远程操作3.完整，增量和差异备份4.备份轮换和存档到期5.备份完整性6.页面校验和7.
2020-12-30 11:09:49
1759
原创 PG自增列sequence，serial，identity区别
这三个对象都可以实现自增，这里从如下几个维度来看看这几个对象有哪些不同，其中功能性上看，大部分特性都是一致的或者类似的。1，sequence在所有数据库中的性质都一样，它是跟具体的字段不是强绑定的，其特点是支持多个对个对象之间共享。 sequence作为自增字段值的时候，对表的写入需要另外单独授权sequence（GRANT USAGE ON SEQUENCE test_old_id_seq;） sequence类型的字段表，在使用CREATE TABLE new_table LIKE old_ta
2020-12-30 10:09:33
2258
原创 PostgreSQL重置所有表Sequence
sequence 是 pg 自带的高效的自增id工具（也叫序列）。sequence 使用了轻量级锁的方式来做到高效自增id的，所以会比 UPDATE 行锁快。sequence 的返回数据类型默认是64位的整数，pg 10 可以自定 smallint, integer 或者是 bigint。为什么要重置sequence？我目前使用的数据库时PostgreSQL 12，在将数据用Navcat导入之后。EF执行插入时报错，提示ID已经存在。最开始因为不了PostgreSQL的自增机制，还以为是EF有问题。
2020-12-30 10:07:42
2021
2
原创 备份和基于时间点的恢复
1.说明为了时间基于时间点的恢复，需要先做一次全量备份，然后再通过postgresql的WAL进行时间点的恢复官方文档实操文档-本文参考美团云postgresql的数据目录sudo ls -l /var/lib/postgresql/9.6/main/ total 96-rw------- 1 postgres postgres 195 Jun 18 17:10 backup_label.olddrwx------ 7 postgres postgres 4096 Jun 18
2020-12-29 19:48:34
339
原创 pg_probackup备份与恢复
一、pg_probackup概述pg_probackup 是一款免费的postgres数据库集群备份工具，与其他备份工具相比，它主要有如下一些优势：提供增量备份，增量备份一定程度上可以节省磁盘空间的使用并且减少备份时间消耗 可通过全量备份+增量备份进行增量恢复 无需通过实际的数据恢复操作验证备份文件是否有效 Verification: on-demand verification of Postgres Pro instance with the checkdb command. 可以通过设
2020-12-25 10:47:55
2764
原创 pg_probackup
参考：https://github.com/postgrespro/pg_probackuphttps://postgrespro.github.io/pg_probackup/pg_probackup简介pg_probackup是由俄罗斯PG社区组织Postgres Professional发布的一个用于管理PostgreSQL数据库备份和恢复的工具。它用于执行PostgreSQL实例的定期备份，使你能够在失败时恢复服务器。最新版2.2.7支持PostgreSQL 9.5, 9.6,.
2020-12-25 10:40:13
557
原创 cephfs几种挂载方式
一、启用cephfsCeph文件系统至少需要两个RADOS池，一个用于数据，一个用于元数据启用mds服务# ceph-deploy mds create node01创建数据poolceph osd pool create cephfs_data 128创建Metadata池ceph osd pool create cephfs_metadata 128启用poolceph fs new cephfs cephfs_metadata cephfs_data
2020-12-25 09:44:45
1352
转载 将 Ceph 文件系统 CephFS 挂载为 NFS
利用 NFS-Ganesha 或 ceph-fuse 与 nfsd， 我们可以将 CephFS 通过 NFS 协议对外发布出去，用户可以通过 NFS 客户端挂载 CephFS 文件系统进行访问。目录Ceph 与 NFS NFS-Ganesha 挂载 CephFS 准备条件 安装 NFS-Ganesha 配置 NFS-Ganesha NFS 客户端挂载 ceph-fuse 和 nfsd 挂载 CephFS NFS 服务端设置 NFS 客户端挂载 两种...
2020-12-25 09:39:35
5570
1
转载 Ceph性能测试（RBD、CephFS、NFS、Cache Tier）
本文是以下两篇文章的后续：探索fio参数如何选择以及全方位对比HDD和SSD性能：部署Ceph前测试磁盘性能，同时基于fio测试参数的变化深入了解fio原理和磁盘IO特点。 CentOS8使用cephadm部署和配置Ceph Octopus：在CentOS8上使用cephadmin进行Ceph Octopus版本的部署，以及RBD、CephFS、NFS、RGW等的配置。本文测试内容：Ceph集群性能随OSD个数的增加（2个、4个、6个、8个）性能的变化； Ceph存储随IO队列深度提高（.
2020-12-25 09:33:15
2511
原创 ceph osd为down的情况
ceph修复osd为down的情况 尝试一、直接重新激活所有osd1、查看osd树root@ceph01:~# ceph osd treeID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.29279 root default -2 0.14639 host ceph01
2020-12-24 10:38:46
3475
原创 mysql进程kill不掉_mysql如何捕捉阻塞的sql
查询阻塞语句SELECTp2.`HOST` 被阻塞方host,p2.`USER` 被阻塞方用户,r.trx_id 被阻塞方事务id,r.trx_mysql_thread_id 被阻塞方线程号,TIMESTAMPDIFF(SECOND,r.trx_wait_started,CURRENT_TIMESTAMP) 等待时间,r.trx_query 被阻塞的查询,l.lock_table 阻塞方锁住的表,m.`lock_mode` 被阻塞方的锁模式,m.`lock_type` "被阻
2020-12-21 20:32:24
1444
原创 Prometheus监控Ceph
在Ceph Luminous之前的版本，可以使用第三方的Prometheus exporterceph_exporter。 Ceph Luminous 12.2.1的mgr中自带了Prometheus插件，内置了 Prometheus ceph exporter，可以使用Ceph mgr内置的exporter作为Prometheus的target。方案一: 使用ceph mgr prometheus插件启用Ceph的Prometheus插件： ceph mgr module e.
2020-12-18 15:28:29
2978
1
原创 ceph 部署文档
部署前环境配置环境部署信息 本手顺安装架构： Ceph-deploy 1个 MON 2个 OSD 3个 CentOS 7: ceph-deploy + mon1(mon1) 10.53.16.190 mon2(mon2) 10.53.16.191 osd(node1) 10.53.16.192 os...
2020-12-18 10:32:23
1329
原创 nfs-ganesha将rgw导出为nfs文件接口
本文介绍了两种方式将 Ceph 导出为 NFS，一种通过 RGW，一种通过 CephFS，通过 FSAL 模块 连接到 RGW 或者 CephFS， 其中，FSAL_RGW 调用 librgw2 将 NFS 协议转义为 S3 协议再通过 RGW 存入到 Ceph 中，FSAL_CEPH 调用 libcephfs1 将 NFS 转义为 Cephfs 协议再存入到 Ceph 中。所以需要额外安装这两个包。经过测试发现，FSAL_RGW 模块在压测是很不稳定，对大文件的写入经常报 io error (5)
2020-12-18 10:25:37
1029
原创 链路监控工具pinpoint的安装和配置
1. pinpoint工具介绍： Pinpoint是一款对Java编写的大规模分布式系统的APM工具，有些人也喜欢称呼这类工具为调用链系统、分布式跟踪系统。我们知道，前端向后台发起一个查询请求，后台服务可能要调用多个服务，每个服务可能又会调用其它服务，最终将结果返回，汇总到页面上。如果某个环节发生异常，工程师很难准确定位这个问题到底是由哪个服务调用造成的，Pinpoint等相关工具的作用就是追踪每个请求的完整调用链路，收集调用链路上每个服务的性能数据，方便工程师能够快速定位问题。 pinpoint
2020-12-17 11:01:04
2112
原创 CEPH资料
https://segmentfault.com/a/1190000023292938https://www.yisu.com/zixun/57002.htmlhttps://www.jianshu.com/p/e7d79a0d5314?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation...
2020-12-17 10:58:53
152
原创 Cephfs使用
Cephfs简介Cephfs是ceph提供的兼容POSIX协议的文件系统，对比rbd和rgw功能，这个是ceph里最晚满足production ready的一个功能，它底层还是使用rados存储数据。Cephfs架构Cephfs使用方法Cephfs kernel module Cephfs-fuse从上面的架构可以看出，Cephfs-fuse的IO path比较长，性能会比Cephfs kernel module的方式差一些；Client端访问Cephfs的流程...
2020-12-17 10:24:14
590
1
原创 CentOS 7忘记root密码的解决方法
CentOS 7忘记root密码的解决方法？针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。命令表多：有（reboot 或者int 6--用得比较多。或者shutdown -r now）扩展：平时我们用的其他如【关机：int 0--关机或者poweroff】这里只需要重启就好。2、选择E键，进入grub界面。在出现 2个选项的时候，选择对应的selection或者E键，去编辑我们选择的启动项。出现grub 界面。--这是来找
2020-12-16 18:40:24
860
转载 CEPH分布式存储搭建(对象、块、文件三大存储)
集群配置信息：安装的ceph版本：ceph version 12.2.12 luminous配置所需源的地址wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repowget -O /etc/yum.repos.d/ceph.repo https://raw.githubusercontent.com/aishangwei/ceph-demo/mas...
2020-12-16 16:50:42
750
原创 ceph cluster client(RBD)
前期准备关闭防火墙、selinux，配置hosts文件，配置ceph.repo，配置NTP，创建用户和SSL免密登陆。[root@ ceph1~]#systemctl stop firewalld[root@ ceph1]# setenforce 0[root@ ceph1~]# cat /etc/selinux/config# This file controls the state of SELinux on the system.# SELINUX= can take one.
2020-12-16 15:13:01
610
1
原创 health: HEALTH_WARN
health: HEALTH_WARNtoo few PGs per OSD 错误ceph -s cluster: id: da54ea6a-111a-434c-b78e-adad1ac66abb health: HEALTH_WARN too few PGs per OSD (10 < min 30) services: mon: 3 daemons, quorum master1,master2,master3
2020-12-16 14:49:01
1573
原创 ceph可视化监控系统
ceph的可视化方案很多，本篇介绍的是比较简单的一种方式，并且对包都进行了二次封装，所以能够在极短的时间内构建出一个可视化的监控系统本系统组件如下：ceph-nautilus版本 ceph_exporter的nautilus版本 prometheus的2.20.1版本 grafana的grafana-7.1.3版本 Ceph grafana的插件- Clusterby Cristian Calin适配的系统为centos7资源如下：https://github.com/digita
2020-12-16 13:57:24
1192
原创 Ceph集群监控Prometheus+Grafana
前言ceph的可视化方案很多，本篇介绍的是比较简单的一种方式，并且对包都进行了二次封装，所以能够在极短的时间内构建出一个可视化的监控系统本系统组件如下：ceph-jewel版本 ceph_exporter的jewel版本 prometheus的2.3.2版本 grafana的grafana-5.2.1版本 Ceph grafana的插件- Clusterby Cristian Calin适配的系统为centos7资源如下：http://static.zybuluo.com/z
2020-12-15 17:13:39
1237
原创 CEPH分布式存储介绍与原理架构概述
一、Ceph 简介Ceph 是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。Ceph 项目最早起源于 Sage 就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat 及 OpenStack 都可与 Ceph 整合以支持虚拟机镜像的后端存储。二、Ceph特点高性能a. 摒弃了传统的集中式存储元数据寻址的方案，采用 CRUSH 算法，数据分布均衡，并行度高。b. 考
2020-12-15 11:06:58
4183
1
原创 prometheus监控postgresql
1、下载postgres_exporter插件wget https://github.com/wrouesnel/postgres_exporter/releases/download/v0.5.1/postgres_exporter_v0.5.1_linux-amd64.tar.gz解压tar xf postgre_exporter-*.tar.gz启动postgre_exporterexport DATA_SOURCE_NAME="postgresql://postgres:lt12
2020-12-14 14:51:18
3044
原创 prometheus常用exporter部署地址
1. node_exportermkdir -p /etc/monitor# 下载curl http://172.22.197.204/prometheus/node_exporter-0.18.1.linux-amd64.tar.gz -o /etc/monitor/node_exporter-0.18.1.linux-amd64.tar.gz# 解压tar -zxf /etc/monitor/node_exporter-0.18.1.linux-amd64.tar.gz -C /etc
2020-12-14 14:40:16
879
原创 本地yum源 、阿里yum源、163yum源的配置安装
一.本地yum源 (我使用的7.3版本)1..添加一个新的yum源配置文件dvd.repo（文件名字自定义）vi etc/yum.repos.d 添加新的内容： name=rhel_dvd baseurl=file://'/run/media/root/RHEL-7.3 Server.x86_64'（根据实际地址填写） enabled=1...
2020-12-11 14:33:33
262
原创 centos7-ceph搭建三个节点一个客户端
centos7-ceph搭建指南1.ceph安装原理ceph分布式存储由若干个组件组成，包括：Ceph Monitor、Ceph OSD和Ceph .MDS，其中如果你仅使用对象存储和块存储时，MDS不是必须的，仅当你用使用Cephfs时，MDS才是需要安装的。ceph的安装模型与k8是有些类似，也是通过一个deploy node远程操作其他Node以进行create、prepare和activate各个node上的组件，官方给的组件示意图如下.Ceph 安装前准备，环境与拓扑图如下：...
2020-12-11 14:01:33
615
原创 yum install No package dpkg available. Error: Nothing to do
原因： sogoupinyin_2.2.0.0102_amd64.deb 这样的安装包，在安装的时候用到了这样的一个命令 dpkg -i *.deb ，可是报错 command not found，现在要安装 dpkg这个命令，安装时又报错了 yum install No package dpkg available. Error: Nothing to do 于是找解决办法，可能是 dpkg 位于第三方的yum源里面，而不在centos官方yum源里面，要安装epel(Extra Packages f..
2020-12-11 11:35:43
1366
3
原创 jmx_exporter监控java应用（tomcat/jar）
一、整合jmx_exporter+tomcat1、下载jmx_exporter：下载地址：https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.12.0/jmx_prometheus_javaagent-0.12.0.jar2、配置jmx_exporter:jmx_exporter config文件示例地址:https://github.com/prometheus/jmx_exporter/t
2020-12-10 20:00:25
3943
原创 postgresql 9流复制配置
环境说明 示例环境 主机名 IP 角色 系统版本 数据目录 pg版本 master 192.168.174.200 主库 CentOSLinuxrelease7.4.1708(Core) /var/lib/pgsql/data ...
2020-12-02 15:40:27
349
原创 Ceph分布式存储高可用集群
1、集群环境Ceph官方网站：https://ceph.io/Ceph中文官方文档：http://docs.ceph.org.cn/今天我们讲解如何快速部署Ceph分布式高可用集群。目前Ceph官方提供三种部署Ceph集群的方法，分别是ceph-deploy，cephadm和手动安装：ceph-deploy,一个集群自动化部署工具，使用较久，成熟稳定，被很多自动化工具所集成，可用于生产部署； cephadm，从Octopus开始提供的新集群部署工具，支持通过图形界面或者命令行界..
2020-12-01 17:36:23
1949
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人