代码人的博客-CSDN博客

原创 Greenplum查看表/库大小、进程、表膨胀处理（sql语句）

Greenplum查看表/库大小、进程、表膨胀处理

2022-08-19 09:55:11 2083 1

原创 Greenplum数据迁移工具——gpcopy

gpcopy是一个数据迁移实用程序，可以在不同集群之间进行传输数据，可以将一个集群中的Greenplum数据库的元数据和数据复制到另一个集群的Greenplum数据库中。gpcopy可以迁移数据库的全部内容，包括数据库架构、表数据、索引、视图、角色、用户自定义函数、资源队列、资源组。gpcopy-2.3.0.tar.gz使用说明：前提：1、gpcopy压缩包，可到官网下载，建议先确定源库以及目标库的GP版本，对照gpcopy说明下载相应的版本。2、GPCOPY需要两个GP（FD）集群做数据迁移，不

2022-04-08 14:18:47 3338

原创 Greenplum的表膨胀处理

一、什么是表膨胀表膨胀是指在一张表的数据文件中积累的自由空间(free space)被旧数据行使用。这些空间已经被之前删除或者不再访问的数据使用。不能做表的维护以重用这些空间，导致表数据文件越来越大，所以表扫描需要更长的时间，导致业务系统效率越来越低。二、为什么会出现表膨胀Greenplum数据库的存储实现(MVCC-多版本并发控制)来自于Postgres。根据MVCC的原理，没有办法直接更新数据(更新操作(update)是通过先删除(delete)再插入(insert)实现的)，被更新之前的行数据仍

2022-03-31 17:01:39 2964 1

原创 Oracle高性能SQL查询优化取数方案

高性能SQL查询优化取数方案1. 描述报表的核心是数据，数据集是否合理决定报表的质量。1.每张报表都应该有一个主数据集，为了降低维护时的工作量，尽量将所有字段置于主数据集，除非在某些情况下，不使用多源数据集会导致主数据集异常复杂。2.在制作报表之前，尽量考虑到所有需要展示的数据字段，在数据库软件中，合理编写sql语句，大数据情况尽量对sql做优化，以及添加索引。拥有高性能SQL查询语句，能使查询速度加快，报表展示速度得到较明显的提升！2. 方案介绍2.1 SELECT子句中避免使用 “*”

2021-12-08 11:20:14 1431

原创 shell系统学习之文本处理三剑客

一、grep用于查找文件里符合条件的字符串。grep 指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设 grep 指令会把含有范本样式的那一列显示出来。1、过滤格式参数含义...

2021-08-20 12:29:15 1192

原创 shell系统学习之常用命令

一、 diff常用于shell中比较两个文件的异同。用法就是直接 diff 文件1 文件2其输出的格式分析如下：下图1a2的意思就是文件1加上123可以得到文件2参数含义a添加c更改d删除num1，num2两个文件中的行< >两个文件中相差的内容可用参数参数作用-b忽略空格-B忽略空行-i忽略大小写-c显示文件所有内容并标示不同-r对比目录-u合并输出

2021-08-19 18:20:26 1186

原创 python 进阶——多种数据结构的封装（链表、栈、队列、二叉树）

一、链表的封装：数组和链表的区分：图示区分：数组是有下标索引和data两部分组成：链表是有data和指向下一个数据的指针地址两部分组成表格区分**链表数组内存占用不需要连续的内存空间需要连续的内存空间大小可变链表的大小可动态变化数组大小固定，不能动态扩展增删较快，只需要修改前一个元素的指针即可较慢，需要移动修改元素只有的所有元素查询较慢，只能遍历查找较快，可以通过下标直接访问在访问方式上必须是顺序访问，不能随机访问可以随机访问

2021-02-28 01:59:21 1886 2

原创 python 进阶——面向对象编程三大特性

一、类和对象：类（Class）是现实或思维世界中的实体在计算机中的反映，它将数据以及这些数据上的操作封装在一起。对象(Object)是具有类类型的变量。类和对象是面向对象编程技术中的最基本的概念。类和对象的区别就是鱼和三文鱼的区别; 就是猫和蓝猫的区别。项目Value类（Class）创建实例的模板对象(Object)一个一个具体的实例如何定义类?class 类(): pass如何将类转换成对象?实例化是指在面向对象的编程中，把用类创建对象的

2021-02-27 23:45:34 1316

原创 python 进阶——编程类型

一、面向过程编程（eg：C语言）：“面向过程”(Procedure Oriented)是一种以过程为中心的编程思想。分析出解决问题所需要的步骤，然后用函数把这些步骤一步一步实现，使用的时候一个一个依次调用就可以了。面向对象的方法也是含有面向过程的思想。面向过程最重要的是模块化的思想方法。比如拿学生早上起来这件事说明面向过程，粗略的可以将过程拟为：(1)起床(2)穿衣(3)洗脸刷牙(4)去学校而这4步就是一步一步地完成，它的顺序很重要，你只需要一个一个地实现就行了。而如果是用面向对象的方

2021-02-27 21:40:09 1203

原创 python的模块与包

一、模块：模块就是工具包,要想使用这个工具包中的工具(就好比函数),就需要导入这个模块模块是非常简单的Python文件，单个Python文件就是一个模块，两个文件就是两个模块1、模块的导入：为什么必须加上模块名调用呢? 普通的导入方式import 模块名.函数名因为可能存在这样一种情况:在多个模块中含有相同名称的函数,如果只是通过函数名来调用,解释器无法知道到底要调用哪个函数。所以如果像上述这样引入模块的时候,调用函数必须加上模块名。如果只需要用到模块中的某个函数/变量/类,如何导入

2021-02-26 01:26:48 1206

原创 python的异常处理

一、什么是异常？Error（错误）是系统中的错误，程序员是不能改变的和处理的，如系统崩溃，内存空间不足，方法调用栈溢等。遇到这样的错误，建议让程序终止。Exception（异常）表示程序可以处理的异常，可以捕获且可能恢复。遇到这类异常，应该尽可能处理异常，使程序恢复运行，而不应该随意终止异常。常见的ExceptionAttributeError（属性错误）、IOError（输入输出错误）、ImportError（路径错误）、IndexError（索引错误）、SyntaxError（语法错误

2021-02-25 23:46:09 129

原创 python的高级特性

复习题目：词频统计练习"""技能需求: 1. 文件操作 2. 字符串的分割操作 3. 字典操作功能需求:词频统计 1. 读取song.txt文件 with open(filename) as f: content=f.read() 2. 分析文件中的每一个单词，统计每个单词出现的次数。{"hello":2, "python":1, "java":1} - 分析文件中的每一个单词 content = "hello python hello ja

2021-02-25 22:29:36 1252 1

原创 python的持久化存储文件操作

一、文件的基本操作：什么是文件：日常的我们的信息都记录在纸上，在计算机上相应的记录在硬盘上。文件的作用：存储数据# 1. 打开文件"""在python,使用open函数,可以打开一个已经存在的文件,或者创建一个新文件。open(文件名,访问模式) e.g. f = open('test.txt', 'w')如果文件不存在那么创建,如果存在那么就先清空,然后写入数据要读取二进制文件，比如图片、视频等等，用'rb', 'wb', 'ab'等模式打开文件即可mode: r: 只能读

2021-02-25 18:48:01 171

原创 python的函数

一、函数的概述：如果在开发程序时,需要某块代码多次,但是为了提高编写的效率以及代码的重用,所以把具有独立功能的代码块组织为一个小模块,这就是函数.我们已经接触过多个函数，比如 input() 、print()、range()、len() 函数等等，这些都是 Python 的内置函数，可以直接使用。编程语言中的函数，都可以用下图概括：从实现函数的角度来看，其至少需要想清楚以下 3 点：函数需要几个关键的需要动态变化的数据，这些数据应该被定义成函数的参数。函数需要传出几个重要的数据（

2021-02-25 18:47:42 1230

原创 python内置数据结构之集合和字典

一、集合：# 1. 集合的创建s = {1, 2, 3, 1, 2, 3} # {1, 2, 3}print(s, type(s))# 注意点1: 集合的元素必须时不可变数据类型。# s = {1, 2, 3, [1, 2, 3]}# print(s, type(s))# 注意点2:空集合不能使用{}, 而要使用set()# s = {} #此为创建一个空字典# print(s, type(s))s = set()print(s, type(s))# 2. 集合的特性:#

2021-02-25 18:47:22 1189

原创 python内置数据结构之列表和元组

一、序列：成员有序排列的,且可以通过下标偏移量访问到它的一个或者几个成员,这类类型统称为序列。序列数据类型包括:字符串,列表,和元组类型。特点: 都支持下面的特性a.索引与切片操作符b.成员关系操作符(in , not in)c.连接操作符(+) & 重复操作符(*)二、列表的创建（打了激素的数组）：数组: 存储同一种数据类型的集和。列表(打了激素的数组): 可以存储任意数据类型的集和。创建一个空列表创建一个包含元素的列表，元素可以是任意类型，包括数值类型，列表，

2021-02-25 18:46:50 1241

原创 python字符串

一、字符串的创建和赋值：1、字符串的创建：字符串或串(String)是由数字、字母、下划线组成的一串字符。Python 里面最常见的类型。可以简单地通过在引号间(单引号,双引号和三引号)包含字符的方式创建它。2、转义符号：一个反斜线加一个单一字符可以表示一个特殊字符，通常是不可打印的字符此处常用的有换行符、水平制表符以及转义反斜杠和单双引号。3、三重引号：作用一：进行多行注释Python中单行注释是#，多行注释的时候每行都写一个#，或者采用连续的三个双引号。作用二：定

2021-02-06 21:55:31 2710 1

原创 python的三大流程控制语句

一、认识三大流程控制：二、墨守成规的顺序流程控制：按顺序去执行步骤，是最基本的代码执行规则，不做过多的解释。三、有路任性的分支流程控制：1、分支流程语句：2、分支语句之三元运算符：简化了上图的代码：3、多分支语句：代码要求：分数为score，分为三个等级90=<score<=100 , grade=A80=<score<90 , grade=Bscore<80 , grade=Cscore = int(input("成绩:"))if 90

2021-02-04 18:36:15 2010

原创 python的基础语法

一、认识变量：变量是内存中的一块区域。对象赋值实际上是对象的引用。a=10变量的命名: 变量名由字母，数字，下划线组成, 不能以数字开头. (a,b, c)hello = 100, hello_world = 100, count2 =100, 1count=10(错误)Python中，变量定义时不需要指定类型的，当用变量的时候，必须要给这个变量赋值;二、认识运算符：1、python3支持的四种数据类型：在进行运算要先了解python所支持的数据类型：项目Value

2021-02-04 14:44:53 1214 1

原创 windows下的python环境搭建(pycharm快捷键、好玩的插件)

一、编译型语言和解释型语言：首先要清楚，我们所手写的python代码计算机不能直接运行，计算机要把高级语言翻译成机器语言，才能运行高级语言所编写的程序。根据翻译的时间不同，翻译的方式分为两种：编译: 执行前一次性翻译。解释：边执行边翻译。二、安装解释器：可以参考python官网下载。步骤：如上图，有三种python的获取方式，推荐使用exe方式，即第二种。注意添加命令到系统环境变量。安装成功后，使用安装的python工具IDLE开始编写python脚本三、pychar

2021-02-04 12:37:26 1392 1

原创 docker仓库

一、docker仓库简介：二、docker hub：三、Registry：上传镜像到私有仓库[root@server1 docker]# docker search registry[root@server1 docker]# docker pull registry[root@server1 docker]# docker images[root@server1 docker]# docker history registry:latest[root@server1 docker]# d

2021-01-25 14:47:31 568

原创 docker（安装、镜像的建立、加速和优化）

一、docker简介：Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。传统虚拟化与容器技术对比：官网链接：点击这里二、docker安装：1、软件仓库部署：部署docker仓库[root@server1 ~]# cd /etc/yum.repos.d/[root@server1 yum.repos.d]# vim do

2021-01-23 23:12:59 265

原创 haproxy负载均衡+pcs高可用+fence

实验环境：母盘为redhat7.6的操作系统，快照出四台虚拟机给真机和虚拟机都加上地址解析，如上图所示通过真机的httpd服务给虚拟机搭建7.6的网络软件仓库关闭防火墙，selinux状态设为disabled一、HAproxy简介：HAProxy是一个使用C语言编写的自由及开放源代码软件[1]，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可

2021-01-22 23:30:03 1954 1

原创 SALTSTACK 自动化运维管理（SALTSTACK缓存、代理，自动化部署高可用、监控）

[root@server1 ~]# yum install https://repo.saltstack.com/yum/redhat/salt-repo-3000.el7.noarch.rpm[root@server1 ~]# cd /etc/yum.repos.d/[root@server1 yum.repos.d]# vim salt-3000.repo[salt-3000]name=SaltStack 3000 Release Channel for Python 2 RHEL/Cento

2021-01-22 10:17:29 484 1

原创 lvs负载均衡+keepalive高可用

一、实验环境：母盘为redhat7.6的操作系统，快照出四台虚拟机给真机和虚拟机都加上地址解析，如上图所示通过真机的httpd服务给虚拟机搭建7.6的网络软件仓库关闭防火墙，selinux状态设为disabled二、lvs：LVS：LVS的基本专业术语：项目ValueDSDirector Server。指的是前端负载均衡器节点RSReal Server。后端真实的工作服务器VIP向外部直接面向用户请求，作为用户请求的目标的IP地址DIPDi

2021-01-19 17:33:46 1607 1

原创 zabbix监控（API、proxy代理、睿象云告警系统）

一、zabbix：zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成，zabbix server与可选组件zabbix agent。zabbix server可以通过SNMP，zabbix agent，ping，端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能，它可以运行在Linux，Solaris

2021-01-17 18:05:41 1735

空空如也

空空如也