MyySophia的博客

原创 GP6创建tablespace 和GP4的差别

在GP4中建立一个tablespace，需要指定是哪个filespace。可以使用gp_persistent_tablespace_node跟踪与表空间对象的事务状态相关的文件系统对象的信息qmsprd=# select * from pg_catalog.gp_persistent_tablespace_node; filespace_oid | tablespace_oid | persistent_state | create_mirror_data_loss_tracking_sess.

转载 Linux awk技巧

转载自：https://www.cnblogs.com/kevingrace/p/11647338.html感谢作者不吝分享，仅学习交流。如有侵权，立即删除。使用awk取某一行数据中的倒数第N列：$(NF-(n-1))比如取/etc/passwd文件中的第2列、倒数第1、倒数第2、倒数第4列（以冒号为分隔符）。（$NF表示倒数第一列，$(NF-1)表示倒数第二列） 1 2 3 4 5 6 7 8 9 10 1

转载 anisble技巧

转载自：https://www.cnblogs.com/kevingrace/p/11647338.html感谢作者不吝分享，仅学习交流。如有侵权，立即删除。Ansible默认只会创建5个进程并发执行任务，所以一次任务只能同时控制5台机器执行。如果有大量的机器需要控制，例如20台，Ansible执行一个任务时会先在其中5台上执行，执行成功后再执行下一批5台，直到全部机器执行完毕。使用-f选项可以指定进程数，指定的进程数量多一些，不仅会实现全并发，对异步的轮训poll也会有正面影响。Ansible

原创 Linux AWK实战

一、awk过滤某行某列值为 ** 的行在监控gp的conn 连接情况时，有一个需求： 把某个用户的top -c的信息定向输出到文件，刚开始直接全部输出，可是数据量太大，有太多idle的conn，因此需要过滤进程在运行队列的top -c信息。需求： 过滤Runnig 的top -c信息。#!/bin/bash# @date 2020 05 26 15:34# @author ninesun# @ para null# @ desc 其中 -b 指定批处理模式， -n 指定迭代次数。 te

原创 Codis节点挂掉后的想法

今天Coids server的一个节点数据不存在了，导致AP 大量异常，这种现象应该发生吗？主从为何不能实现高可用？主从数据都是sync的呀。为了自动切换，自动选举，而建制哨兵机制，实现自动切换？意义何在？zk是服务注册中心，再思考一下zk在codis集群中到底扮演的是什么角色？主从两个节点使用keepalived 实现高可用行的通吗？...

转载 GreenPlum GPCC6.0 workload配置

最近在接触GPCC 6.0 的安装，官方文件给出了使用cgroups来控制资源的分配。cgroups资源限制技术1.什么是cgroups？cgroups是linux内核提供的一种机制，这种机制可以通过需求把一系列系统任务，及其子任务整合到按资源划分的不同组内，从而为系统资源管理提供统一的框架。通俗来说，cgroups可以限制记录任务组所使用的物理资源，包括cpu，内存，io等。为容器虚拟化提供了基本保证，是构建docker等一系列虚拟化容器的基石。2.cgroups的作用。cgr...

原创 GreenPlum gpfdist 4.3 VS 6.0

一、环境 ~]$ /opt/greenplum/greenplum-db-4.3.27.0/bin/gpfdist --versiongpfdist version "4.3.27.0 build 1"bin]$ gpfdist --versiongpfdist version "6.2.1 build commit:d90ac1a1b983b913b3950430d4d9e47ee8827fd4"二、测试数据三、测试结果比对...

原创 htop 使用心得

内存编写用户空间的程序员或者程序，会感觉自己的程序拥有全部内存，这是幻觉。用户态程序不会直接访问物理内存，只能访问虚拟内存空间，内核会把虚拟地址映射到物理内存或者磁盘上。htop/top内存的含义：VIRT/VSZ 虚拟内存，包括二进制的代码，数据，共享库，换出的页，映射了但是还没使用的页。 RES/RSS 进程实际在物理内存中的空间，不包括换出的内存，但是包括和其他进程共享的。 SHR 共享的内存 htop/top内存使用率是指RES/RSS内存占总物理内存的百分比。...

原创 GreenPlum 每个连接资源消耗的想法 && gp主进程fork了多少个子进程？

早在1月份，发现gp的master上conn占用内存太高了，只是方式没有一起足够的重视，才导致了这次事故的发生。我们如何得知某个conn被哪些PPID 执行过？通过该命令可以得知posgrePID一共fork了多少个PPID。pstree -up| grep "{postgres}"|wc -l这个有什么意义呢？并发大的时候、sql复杂的时候 ......PPID的数量就多？下面是postgre主进程fork一个 PPID:26984,该PPID又fork了很多PP...

原创 GP6安装

gp6 终于装好了。过程虽然坎坷，但是值得回味。

原创 Linux 创建用户

添加用户: useradd -m 用户名设置密码: passwd 用户名删除用户: userdel -r 用户名。如果忘记密码可以在root权限下使用passwd重置密码

原创 goaccess 分析nginx log

一、需求背景统计AP 使用峰值。客户端访问AP 是通过Nginx 代理实现的。因此可以从Nginx的log着手分析，配合管道命令可以定向分析某些具体请求或者某段时间的nginx log，因此通过goaccess 来分析Nginx可满足需求。二、安装安装goaccess之前唯一需要依赖的包是ncurses。1、tar xvf goaccess-1.2.tar.gz -C /usr/local这里请注意，将解压文件压在/use/local 的原因是有的依赖库会找不到而报错例如: Fa

原创 GreenPlum 查找SQL 峰值查询

如何查找出每5分钟每个用户分别提交了多少个sql？通过本文主要是需要 1、巩固shell基础知识，shell脚本规范 2、psql 传参-- usrSqlCnt 峰值寻找-- 使用方法：1、执行如下脚本 #!/bin/bash # @date 2020年5月18日13:49:16 # @author ninesun ...

原创 ps aux的state 列含义解释

USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMANDgpadmin 7188 66.0 0.8 4310932 2694628 ? Rsl 13:12 13:45 postgres: port 5432, other qmsprd 10.50.425) con180036 10.50.10.152(63425) cmd15 PARSE .

原创 GP cacheMemoryContext 异常

GP 报如下报错讯息。org.postgresql.util.PSQLException: ERROR: Canceling query because of high VMEM usage. Used: 1663565824MB, available 0MB, red zone: 233472MB (runaway_cleaner.c:191) at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecut.

转载 Linux vm运行参数之（一）：overcommit相关的参数

一、什么是overcommit要了解这类参数首先要理解什么是committed virtual memory？使用版本管理工具的工程师都熟悉commit的含义，就是向代码仓库提交自己更新的意思，对于这个场景，实际上就是各个进程提交自己的虚拟地址空间的请求。虽然我们总是宣称每个进程都有自己独立的地址空间，但是，这些地址空间都是虚拟地址，就像是镜中花，水中月。当进程需要内存时（例如通过brk分配内存），进程从内核获得的仅仅是一段虚拟地址的使用权，而不是实际的物理地址，进程并没有获得物理内存。实际的物理内存只

原创 为什么要用webSocket？

最近在接触goaccess 可视化Nginx的log，遇到一个问题： 如何在浏览器中实时展示Nginx的请求？将access log实时输出到指定位置，其中goaccess /usr/local/nginx/logs/access.log -o /opt/goaccess/html/out.html --real-time-html --time-format='%H:%M:%S' --date-format='%d/%b/%Y' --log-format=COMBINED --port=700

原创 Rabbmit MQ 错误 connection error

java.io.IOException: null at com.rabbitmq.client.impl.AMQChannel.wrap(AMQChannel.java:105) at com.rabbitmq.client.impl.AMQChannel.wrap(AMQChannel.java:101) at com.rabbitmq.client.impl.AMQConnection.start(AMQConnection.java:353) at com.rabbitmq.client..

原创 使用jinjia2同时创建多个目录

使用如下命令可同时创建多个目录使用Jinja2模板mkdir -p /home/image_path/{202005,202006,202007}

原创 Linux perf 火焰图

一、安装从github上下载flamegraph 。https://github.com/brendangregg/FlameGraph二、生成SVG1、perf record -F 9 -p PID -g -- sleep 30perf record表示记录，-F 99表示每秒99次，-p 13204是进程号，即对哪个进程进行分析，-g表示记录调用栈，sleep 30则是持续30秒。2、生成svg 矢量图。perf script | ./stackcollapse-perf.

原创 离线安装htop

1、下载安装包http://hisham.hm/htop/该包需要依赖ncurseshttp://pkgs.org/download/ncurses-devel先二、安装安装ncursesrpm -ivh ncurses-6.1.20180407-alt2.src.rpm

转载 Linux write through 和write back

一次在启动虚拟机的时候，发现有如下提示，drive cache: write through. 这究竟是什么意思呢？Write-Through 模式：1. DB向Cell发送一个写请求， cellsrv进行验证确认其请求有效;2. cellsrv将发送指令将其写入到物理磁盘;3. 写完成以后，给DB确认已经写成功;4. cellsrv判断次数据是否适合缓存到cache中，如果满足条件则缓存，否则不缓存。Write-Back 模式：1. DB向Cell发送一个写请求， c...

原创 zookeeper入门(二)

接触zookeeper也有一段时间了，一直有一个问题困扰着我，那就是zookeeper在codis中扮演什么角色，zookeeper中到底存储了哪些数据。本文将结合实际操作来一步一步来进行。

原创 Docker 初识

原创 zookeeper的选举规则

原创 Linux shell 2＞&1 深入理解

在了解这个之前，请先了解一下下文件描述符，在linux里面一切皆文件，而0 1 2是三个比较特殊的文件描述符。需要注意的是文件描述符 0 通常是标准输入（STDIN），1 是标准输出（STDOUT），2 是标准错误输出（STDERR）。重定向的命令命令 说明 command > file 将输出重定向到 file。 command < file 将输入重定向到 file。 command >> file 将输出以追加....

原创 执行脚本出现 standard in must be a tty

出现该提示是因为你执行的脚本的时候并不是在没有对应用户的环境变量，应该在脚本中加入su - username，来加载环境变量。可通过echo $PATH 来查看会否切换成功。

转载 Linux sed 理论

本文转载于https://www.cnblogs.com/ctaixw/p/5860221.html，学习用途，如有侵权，我会及时删除。目录sed含义sed命令的语法格式：sed命令的选项(option)：sed在文件中查询文本的方式：1)使用行号，可以是一个简单数字，或是一个行号范围2)使用正则表达式、扩展正则表达式(必须结合-r选项)重点：sed命令实现对文件内容的替换sed引用变量：sed的其它高级使用：sed含义sed：Stream Edito..

原创 Linux sed实战

一、替换1、全局替换shell中的某个字符。需要使用 -i参数才会真正修改文件，该操作不会再屏幕上返回结果。匹配test.sh中的vmstatGene行，并将vmstatGene_169全局替换为vmstatGene_122，末尾不加g则替换第一次出现匹配关键字的位置。sed -i '/vmstatGene/s@vmstatGene_169@vmstatGene_122@g' test.sh......

转载 使用private static修饰方法有什么好处？

最近在修改业务程序的时候，遇到了private static修饰的一个方法，在该方法中调用另外一个私有方法时报错。Non-static method 'sendAlarmMQ(java.lang.String, java.lang.String, java.lang.String)' cannot be referenced from a static context为何使用private static修饰方法总结下来就是：Make it clear to the reader t..

转载 Linux 面试题

问题一：绝对路径用什么符号表示？当前目录、上层目录用什么表示？主目录用什么表示? 切换目录用什么命令？答案：绝对路径：如/etc/init.d当前目录和上层目录：./ ../主目录：~/切换目录：cd问题二：怎么查看当前进程？怎么执行退出？怎么查看当前路径？答案：查看当前进程：ps执行退出：exit查看当前路径：pwd问题三：怎么清屏？怎么退出当前命令？怎么执行睡眠？怎么查看当前用户 id？查看指定帮助用什么命令？答案：清屏：clear退出当前命令：ctrl+c 彻底退出.

原创 GreenPlum 和 Oracle中对null 和空串的处理

下图是GP的执行结果下图是oracle 的执行结果可以看到在oracle 中对null和空串认为是一样的，至少对该语法是一致的，而gp则认为null 和空串是不同的。疑问、1、这是为什么呢？2、NULL 和空串都需要占用空间存储吗？...

原创 cpu info

目录什么是物理CPU？什么是core数？什么是逻辑核心数？什么是超线程？cat /proc/cpuinfo什么是物理CPU？顾名思义就是能看得见摸得着的部分，可通过cat /proc/cpuinfo |grep "physical id"| sort| uniq| wc -l2结果只有两个，通过过滤physical id来查看每个core 所在...

原创 Rabbmit MQ connection 解决方法

一、AP rabbmit 连接报错二、rabbmit log报错三、解决TODO

转载 易经-八卦概述(二)

易经《易经》指《连山》、《归藏》、《周易》三部易书。其中《连山》和《归藏》已经失传，现存于世的只有《周易》。从本质上来讲，《易经》是阐述关于变化之书，是博大精深的辩证法哲学书。《易经》被誉为“诸经之首大道之源”，是中华传统文化的总纲领，蕴涵含着朴素深刻的自然法则和和谐辨证思想，是中华民族万千年智慧的结晶。《易经》长期被用作“卜筮”。“卜筮”就是对未来事态的发展...

原创 Mysql Lock Wait

-- 2020-04-24 11:17:17.876 WARN 17388 --- [pool-9-thread-1] o.h.engine.jdbc.spi.SqlExceptionHelper : SQL Error: 1205, SQLState: 40001-- 2020-04-24 11:17:17.877 ERROR 17388 --- [pool-9-thread-1] o....