- 博客(25)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Creenplum操作小技巧
Creenplum相当于是一个pgsql的分布式版本数据库，适用于绝大多数的pgsql语法操作，以下是一些不一样的操作记录；查询每个节点数据的分布情况。
2023-01-16 09:45:18
265
2
原创 python 报错处理
使用pandas获取数据库中数据报错，将int类型转换成float类型，因为原始df是个空值， pandas在处理缺失值上，拥有一个自己的处理及转化逻辑 会将int转float的；1、如下报错invalid input syntax for type integer: "11.0"......
2022-08-11 16:57:46
2325
原创 （六）prometheus+postgres_exporter+grafana监控
利用 Prometheus 的 static_configs 来拉取 node_exporter 的数据。在 Prometheus 中负责数据汇报的程序统一叫做 Exporter, 而不同的 Exporter 负责不同的业务。这个查询语言在这些度量和标签列表的基础上进行过滤和聚合。改变任何度量上的任何标签值，则会形成新的时间序列图。后，会进行去重，分组，并路由到相应的接收方，发出报警，常见的接收方式有：电子邮件，企业微信，钉钉。的多维数据模型：对于相同的度量名称，通过不同标签列表的结合。
2022-07-28 10:18:37
3731
1
原创 （五）基于telegraf+influxdb+grafana数据库监控
展示方式快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方式；是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。每毫秒记录一下电脑内存的使用情况，然后就可以根据统计的数据，利用图形化界面（、注释使用来自不同数据源的丰富事件注释图表，将鼠标悬停在事件上会显示完整的事件元数据和标记；可以采集多种组件的运行信息，而不需要自己手写脚本定时采集，降低数据获取的难度；...
2022-07-28 10:12:08
1245
原创 （四）pghero监控
使用情况的预测，更好的扩展性，自动清理，以及各种内置的数据库维护工具。集持续监控功能与数据库运行状况检查功能于一身，能够提供诸如对于。
2022-07-28 10:09:45
193
5
原创 （三）Pgbadger监控
的日志文件，以图表的形式展现数据库的各项活动和状态信息。专为提高速度而构建，可以完整地报告。日志的前缀也可以添加用户、数据库名称，应用程序名称和客户端。语句超过了这个参数设置的值，就会记录到日志里面，类似于。最后一个是设置字符集。要确保自己的语言环境是英文的。能够更好的分析，需要开启一些基础记录功能。当前我们系统设置的是。以上参数设置完成之后，进入到。目录运行，指定日志文件输出成。脚本，其性能优于大多数其他。实现的轻量级日志分析工具。输出的图表可单独下载为。不会解析它的日志格式。语句将被记录到日志。...
2022-07-28 09:54:18
268
原创 pgsql命令行操作
1.切换用户：su - postgres2.进入：psql如需要其他用户登录使用：psql -h 127.0.0.1 -U username3.查询所有数据库：\l4.列出所有用户：\du5.运行SQL文件：psql -h 127.0.0.1 -U username -f filename6.7.8.9.
2022-07-07 17:49:29
1690
原创 nifi报错问题记录
1.nifi页面报错提示如下：查看日志后发现缺少WAL(pg数据库)日志文件：处理方案：删除事务槽重新同步：select pg_drop_replication_slot('事务槽名字') ;select * from pg_replication_slots --获取需要的事务槽结果发现nifi正常运行；......
2022-06-15 16:55:14
934
原创 Linux安装python依赖包
1.在线安装：如pandas包安装 pip installpandas / pip3 installpandas2.离线安装： 1、在python依赖包网站搜索下载所需依赖包：https://pypi.org 2、将下载的依赖包上传到服务器#解压：tar -zxvf pandas.tar.gz#进入目录（我这下载的是1.3.5版本）：cd pandas-1.3.5#编译python setup.py build .........
2022-05-27 09:30:48
4277
原创 kettle 操作遇到的小问题
1、ERROR: column "ext_json" is of type jsonb but expression is of type character varying传递参数修改或增加为：stringtype=unspecified2、Invalid byte 1 of 1-byte UTF-8 sequence.配置环境变量：添加变量名为: JAVA_TOOL_OPTIONS 变量值为：-Dfile.encoding=UTF-8，配置完后重启Spoon即可。1）本地Wind
2022-05-09 14:37:07
1212
原创 Linux常见操作记录
1.查看当前环境下所有已经使用了的端口信息netstat -nultp 查看某个端口被占用 netstat -anp |grep 端⼝号 如下，以5432为例，netstat -anp |grep 54322，检查系统是否安装了 telnet检查系统是否安装了 telnet方法一：[root@localhost641 ~]# telnetbash: telnet: command not found方法二：[root@localhos...
2022-05-05 14:16:26
90
原创 Linux没有可用软件包 p7zip、 p7zip-plugins
安装7z工具。使用命令yum install p7zip -y运行之后报错了File contains no section headers先配置yum源，直接将配置文件删了，重新下载一个rm -f /etc/yum.repos.d/CentOS-Base.repowget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum clean all...
2022-05-05 14:07:24
3379
原创 docker-compose安装及升级
1、安装docker-compose1、下载二进制文件wget https://github.com/docker/compose/releases/download/1.24.0/docker-compose-Linux-x86_64下载过慢可以直接下载我上传的资源，起始0币（CSDN动态调整）点击下载2、移动文件mv docker-compose-Linux-x86_64 /usr/local/bin/docker-compose3、赋予可执行权限chmod +x /usr/
2022-04-27 14:43:28
9970
2
原创 （二）CloudCanal社区版docker版安装
官网：CloudCanal社区版docker版安装(Linux/MacOS) | Clougence问答社区AskCUG1. docker 准备 如您的机器没有安装 docker ，请先安装(版本 17 以上，请勿使用过低版本的 docker)。 参考文档:Install Docker Engine | Docker Documentation 如您的机器没有安装 docker-compose 环境，请先安装。 官方文档指导安装:Install Docker Compose...
2022-04-24 15:40:07
1246
原创 （一）CloudCanal 安装之docker安装
前言，最近需要安装CloudCanal，先在Linux服务器上将docker安装号再安装CloudCanal。1、参考官网：Install Docker Engine on CentOS | Docker Documentation我这里选着的是centos7系统，2、如果已安装旧版docker先卸载，没安装则忽略；sudo yum remove docker \ docker-client \ docker-client
2022-04-24 15:11:02
801
原创 pgsql遇到小问题及小功能记录
一、ERROR: invalid input syntax for integer: ""使用COALESCE((、a.delete_flag,'0')::int as delete_flag报错，因为delete_flag里面包含空值(''):改为：COALESCE(NULLIF(pri.delete_flag,''),'0')::int as delete_flag 即可将空值先替换为null，再转换
2022-04-22 08:54:46
3192
转载 一个有趣的SQL优化案例
问题描述 分析 表的信息 估算cost start-up cost run cost 执行计划 实际执行时间 从内核视角来分析 解决方案 写在最后 Coding过程中经常会写SQL语句，有时写的SQL出现慢查询而被DBA鄙视。今天我们一起从使用者，DBA，内核开发三个不同角度来分析和解决一个SQL性能问题，来重新认识逻辑优化与物理优化。..
2022-04-20 16:19:17
474
原创 linux -bash: pip: 未找到命令
查看Python版本：python --version我的版本是2.7执行：wget https://bootstrap.pypa.io/pip/2.7/get-pip.py安装：python get-pip.py查看pip版本：pip -V
2022-02-21 16:01:22
8558
原创 Logger日志文件记录
# -*- coding:utf-8 -*-"""# author:crhou# datetime:2022/2/16 15:13# software: PyCharm"""import loggingimport os.pathimport timeproject_path = 'Exercise' #定义项目目录class Logger(object): def __init__(self): ''''' 指定保存日志的文件路径.
2022-02-16 17:16:06
1349
原创 pgsql Update 根据B表更新A表
pgsql Update 根据B表更新A表，A表不能加别名如下SQL会报错：update tablename1 aaset aa.sort = bb.sortfrom (select id,row_number() OVER(order by id ) sort from tablename1 order by id desc) bbwhere aa.id = bb.id徐改为：update tablename1 aaset sort = bb.sort...
2022-01-25 18:39:26
4161
转载 史上最全 | HBase 知识体系吐血总结
史上最全 | HBase 知识体系吐血总结本文转载大鱼的文章，原文地址：史上最全 | HBase 知识体系吐血总结 (qq.com)如有侵权请私信删除；HBase 涉及的知识点如下图所示，本文将逐一讲解：一、HBase 基础1. HBase 基本介绍简介HBase 是 BigTable 的开源 Java 版本。是建立在 HDFS 之上，提供高可靠性、高性能、列存储、可伸缩、实时读写 NoSql 的数据库系统。它介于 NoSql 和 RDBMS 之间，仅能通过主..
2021-11-24 10:41:57
1206
原创 postgres 存储过程 print 打印 输出 调试
declarev_data_count INT;RAISENOTICE '本次更新数据条数：%',v_data_count;
2021-11-24 10:30:53
3667
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人