MyySophia的博客

原创 redis big key分析及shell删除

目前发现redis 中，有很多垃圾数据，coids 16个节点，把两台机器600G的内存吃完了，有点夸张。业务上的人只管用，过期时间也不设定。造成很多的垃圾数据。1、153上 节点6379 - 6386上每个几点大约有1300 - 1400W个key。也可以通过redis desktop manager 连接单节点来查看。可以看到这些key的数量是动态变化的。是因为有的k...

原创 Linux RPM包naming

原创 Linux getent 查询组与用户

[root@P1QMSMDW01 ~]# getent passwd gpadmingpadmin:x:530:530::/home/gpadmin:/bin/bash[root@P1QMSMDW01 ~]# [root@P1QMSMDW01 ~]# [root@P1QMSMDW01 ~]# getent passwd rootroot:x:0:0:root:/root:/bin/...

原创 Linux du 和 df统计目录大小为何不一样？

1、问题使用du 和df 分别对/etc 统计其大小，发现统计结果差距很大？何因？[root@P1QW01 ~]# df -h /etc/Filesystem Size Used Avail Use% Mounted on/dev/mapper/rootvg-rootlv 4.8G 249M 4.4G 6% ...

原创 Linux Centos 服务器免密验证（ansible版/非root用户）

---------------------------------update 2020年5月24日21:38:15--------------------------------可以通过 ssh-keygen - > ssh-copy-id [-i [identity_file]] [user@]machine 把操作机的私钥添加到目标主机的密钥列表中。---------------update 2021年7月28日16:47:52。1、ssh-keygen 用这个命令是用来生成本机的公钥和私钥的。

原创 Linux LVM 最佳实践

目录一、概念二、PE LE PV VG LV概念PE（Physical Extent）LE（Logical Extent）PV (physical volume) 物理卷VG（volume group）vg的备份LV（logical volume）三 常用的指令四 LV创建的过程五 常见用法及实战常见的用法◇创建 PV◇创建 VG◇VG 扩容（添加新的 PV）◇创建 LV◇自动挂载 LV◇LV 扩容★不那么常见的用法◇VG 改名◇LV 改名◇VG 缩容（移除 PV）◇LV 缩容◇删除 LV实战 pv

原创 traceroute的工作原理

MyySophia5个月前traceroute的工作原理 是利用ICMP差错控制报文中的TTL超时会回向源点发送一个时间超时报文。例如A 主机 traceroute B主机，A会封装一些分组，这些分组很特殊，例如第一个分组的TTL设置为1 ，第二个分组的TTL设置为2 以此类推.......当第一个分组到达第一个路由器时，发现TTL变成了0就会给源主机发送一个时间超时报文，这也就知道了这...

原创 ansible 初识

一 基本架构二 、工作原理三 主要组成四 安装

转载 linux在shell中获取时间

目录获得当天的日期将当前日期赋值给DATE变量date参数的说明和一些例子扩展功能unix shell中的日期格式转换获得当天的日期date +%Y-%m-%d输出： 2011-07-28将当前日期赋值给DATE变量DATE=$(date +%Y%m%d)有时候我们需要使用今天之前或者往后的日期，这时可以使用date的 -d参数获取...

原创 vmstat.. 可视化

一、将vmstat的结果格式化#!/bin/bashCnt=$(cat tmp.log |wc -l)loopCnt=0t1=0t2=0 sed -i '24,25d' tmp.log echo "sed -i '24,25d' tmp.log " echo "-----------------------------------------------------"...

原创 Greenplum膨胀表问题分析

目录一 问题二 解决2.1 为何会膨胀2.2vauum 可以解决表膨胀吗？2.3查看表膨胀2.4 解决2.5 优化一 问题同时反馈一个sql执行长达1000s，通过分析问题，发现该表严重膨胀，70W的数据量表大小达到18GB。同时还发现该表的分布键设计不合理。此表有频繁的TP业务select pg_size_pretty(pg_relation_s...

转载 shell脚本简略

目录概述脚本头部解释器脚本信息注释脚本参数变量申明基本变量脚本路径时间数组脚本主体单引号、倒引号和双引号的区别测试语句循环语句条件语句分支语句函数概述shell脚本不管是开发还是运维，肯定都会遇到的。本文作者从脚本长啥样子来稍微阐述一下，本文对于那些熟悉linux系统命令但是没有写过脚本的人比较合适，内容上面比较简单...

转载 Greenplum 最佳实践 - 数据分布黄金法则 - 分布列与分区的选择

分布列选择黄金法则由于Greenplum是一个分布式的数据库，数据是分散存储在各个数据节点的，所以需要告诉Greenplum数据应该如何分布。短板效应当用户请求QUERY时，Greenplum会在所有的节点并行执行，所以最慢的节点会成为整个系统的瓶颈。Greenplum 支持的分布算法 :用户可以指定分布列(允许指定多个列)，或者使用随机分布算法。那么用户应该如何选...

原创 多版本管控以及备份的shell脚本

在上线程序时上一个版本如何备份呢？一直是一个头疼的问题，目前是按照年月日文件夹写入历史版本的程序包。脚本如下：#!/bin/bash# 部署file-loader.war# 1. kill当前运行的file-loader进程# 2. 备份当前war到backup# 3. 从deploy目录获取新war包# 4. 启动file-loader#2020年3月9日10:14...

转载 Linux 软连接和硬链接

硬链接(hard link)与软链接(symbolic link)，硬链接的意思是一个档案可以有多个名称，而软链接的方式则是产生一个特殊的档案，该档案的内容是指向另一个档案的位置。硬链接是存在同一个文件系统中，而软链接却可以跨越不同的文件系统。软链接：1.软链接，以路径的形式存在。类似于Windows操作系统中的快捷方式2.软链接可以 跨文件系统 ，硬链接不可以3.软链接可以对一个不存......

原创 Linux find 实战

1、搜索文件-name 匹配名字，支持正则表达式在/aplog目录下查找以.txt结尾的文件名find /home -name "*.txt"-iname 忽略大小写匹配名字find . -type 类型参数在/aplog下搜索管道文件find /aplog -type p事实上大多数时候我们都会忘记具体在哪个目录下，不过使用 从根目录遍历会很慢。.........

原创 greenplum pg_stat_activity记录的sql截断

在查询gp的这个view时，如果sql够长。pg_stat_activity中的query_text 有截断的情况。如何保证不被截断呢？修改PostgreSQL GUC的track_activity_query_size 这个参数可以不被截断。...

原创 如何安全的发布对象？

发布对象：使一个对象能被当前范围外的代码所使用。与之对应的一个问题是 对象逸出对象逸出是一种错误的发布对象方式，当一个对象还没有构造完时，就被其他线程所见。常见于多线程之中。错误的发布对象：私有成员变量在对象的公有方法中被修改。当其他线程访问该私有变量时可能得到不正确的值。例如： private String[] states = {"a", "b", "c"}; ...

转载 Linux 问题故障定位，看这一篇就够了

目录1. 背景2. 说明3. 分析问题的方法论4. cpu4.1 说明4.2 分析工具4.3 使用方式5. 内存5.1 说明5.2 分析工具6. 磁盘IO6.1 说明6.2 分析工具6.3 使用方式7. 网络7.1 说明7.3 使用方式8. 系统负载8.1 说明8.2 分析工具9. 火焰图9.1 说明9.2...

原创 Spring中的AOP是什么？

AOP ：面向切面编程在软件工程领域有一个概念：关注点分离 ，不同的问题交给不同的部分去解决。AOP其实就是这个思想。怎么理解呢？例如我们写业务代码的时候还需要考虑日志、缓存..等通用的功能。这些通用功能的实现就是所谓的切面(Aspect)，当业务代码和切面代码分离之后，开发者即可专注于业务逻辑处理，架构将变得高内聚低耦合。但是最终你编写的业务代码是需要这些被剥离出来的通用功能，又...

原创 gpfdist不落盘数据加载

工作原理gpfidst可高效加载文本文件管道是Linux中用于进程间通信的工具，在Linux中一切皆文件。故可通过管道来进行数据加载，其过程数据是不落盘的，可调高效能。实例：环境gp6 pai DB注意事项：严格遵循操作管道文件的时序确保管道不会被其他进程使用对同一个管道不支持并发访问。...

转载 Unexpected end of stream 溯源

Unexpected end of stream这个错误的原因定位到的是：edis服务器端已经关闭了客户端的连接，而客户端不知道依然拿着原来的连接去访问redis服务器，结果就会报出这个exception。在redis.conf配置中有两个参数和其有关1、client-output-buffer-limit对于Redis服务器的输出（也就是命令的返回值）来说，其大小通常是不可控制的...

原创 Spring中的IOC是什么？

IOC准确的说是一种思想，它能将你从繁琐的代码中解脱出来并专注于对象本身。进一步突出面向对象。在了解IOC之前有必要了解依赖注入(DI)例如要设计一个行李箱。上面的设计看似完美，其实是存在问题的，如果现在根据市场需求要改变轮子的大小，那么整个架构都需要改变。可以看到如果尺寸改变每个依赖类都需要改变，这对某些底层类被上千个类依赖来说，修改起来就是一场噩梦。但是如果这样...

转载 @Autowired 与@Resource的区别

1、@Autowired与@Resource都可以用来装配bean. 都可以写在字段上,或写在setter方法上。2、@Autowired默认按类型装配（这个注解是属业spring的），默认情况下必须要求依赖对象必须存在，如果要允许null值，可以设置它的required属性为false，如：@Autowired(required=false) ，如果我们想使用名称装配可以结合@Quali...

原创 Java连接ORAC的方式和单实例连接的区别

今天看到程序报错，无法获取连接，怀疑和数据库早上出问题有关，查看了代码连接方式，发现竟然连接的是ORAC中的一台，而恰恰出事情的那台就是程序连接的那一台。数据库的部署有单实例和RAC的情况，单实例比较简单，使用SID连接；RAC 有多个实例来增加并发和负载，RAC时TNS一般配置的是Server Name，RAC节点根据Server情况自动跳到合适的SID。对于RAC的情况，有各自的实例，此时...

原创 在多线程中某段代码只执行一次

使用Automic包中的AtomicBoolean结合CAS来实现。当只希望需要某段代码在多线程中只执行一次的时候，此时你会发现boolean这个变量类型是多么有用。代码如下public class AtomicBoolean1{ private static AtomicBoolean isHappened = new AtomicBoolean(false); /...

原创 Mysql 主从复制逻辑

binlog日志简介及设置mysql-binlog是MySQL数据库的二进制日志，用于记录用户对数据库操作的SQL语句（(除了数据查询语句）信息。可以使用mysqlbin命令查看二进制日志的内容。binlog的格式也有三种：STATEMENT、ROW、MIXED 。1、STATMENT模式：基于SQL语句的复制(statement-based replication, SBR)，...