自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(49)
  • 收藏
  • 关注

原创 Greenplum查看表/库大小、进程、表膨胀处理(sql语句)

Greenplum查看表/库大小、进程、表膨胀处理

2022-08-19 09:55:11 2082 1

原创 Greenplum数据迁移工具——gpcopy

gpcopy是一个数据迁移实用程序,可以在不同集群之间进行传输数据,可以将一个集群中的Greenplum数据库的元数据和数据复制到另一个集群的Greenplum数据库中。gpcopy可以迁移数据库的全部内容,包括数据库架构、表数据、索引、视图、角色、用户自定义函数、资源队列、资源组。gpcopy-2.3.0.tar.gz使用说明:前提:1、gpcopy压缩包,可到官网下载,建议先确定源库以及目标库的GP版本,对照gpcopy说明下载相应的版本。2、GPCOPY需要两个GP(FD)集群做数据迁移,不

2022-04-08 14:18:47 3335

原创 Greenplum的表膨胀处理

一、什么是表膨胀表膨胀是指在一张表的数据文件中积累的自由空间(free space)被旧数据行使用。这些空间已经被之前删除或者不再访问的数据使用。不能做表的维护以重用这些空间,导致表数据文件越来越大,所以表扫描需要更长的时间,导致业务系统效率越来越低。二、为什么会出现表膨胀Greenplum数据库的存储实现(MVCC-多版本并发控制)来自于Postgres。根据MVCC的原理,没有办法直接更新数据(更新操作(update)是通过先删除(delete)再插入(insert)实现的),被更新之前的行数据仍

2022-03-31 17:01:39 2960 1

原创 Oracle高性能SQL查询优化取数方案

高性能SQL查询优化取数方案1. 描述报表的核心是数据,数据集是否合理决定报表的质量。1.每张报表都应该有一个主数据集,为了降低维护时的工作量,尽量将所有字段置于主数据集,除非在某些情况下,不使用多源数据集会导致主数据集异常复杂。2.在制作报表之前,尽量考虑到所有需要展示的数据字段,在数据库软件中,合理编写sql语句,大数据情况尽量对sql做优化,以及添加索引。拥有高性能SQL查询语句,能使查询速度加快,报表展示速度得到较明显的提升!2. 方案介绍2.1 SELECT子句中避免使用 “*”

2021-12-08 11:20:14 1430

原创 shell系统学习之文本处理三剑客

一、grep用于查找文件里符合条件的字符串。grep 指令用于查找内容包含指定的范本样式的文件,如果发现某文件的内容符合所指定的范本样式,预设 grep 指令会把含有范本样式的那一列显示出来。1、过滤格式参数含义...

2021-08-20 12:29:15 1187

原创 shell系统学习之常用命令

一、 diff常用于shell中比较两个文件的异同。用法就是直接 diff 文件1 文件2其输出的格式分析如下:下图1a2的意思就是文件1加上123可以得到文件2参数含义a添加c更改d删除num1,num2两个文件中的行< >两个文件中相差的内容可用参数参数作用-b忽略空格-B忽略空行-i忽略大小写-c显示文件所有内容并标示不同-r对比目录-u合并输出

2021-08-19 18:20:26 1185

原创 python 进阶——多种数据结构的封装(链表、栈、队列、二叉树)

一、链表的封装:数组和链表的区分:图示区分:数组是有下标索引和data两部分组成:链表是有data和指向下一个数据的指针地址两部分组成表格区分**链表数组内存占用不需要连续的内存空间需要连续的内存空间大小可变链表的大小可动态变化数组大小固定,不能动态扩展增删较快,只需要修改前一个元素的指针即可较慢,需要移动修改元素只有的所有元素查询较慢,只能遍历查找较快,可以通过下标直接访问在访问方式上必须是顺序访问,不能随机访问可以随机访问

2021-02-28 01:59:21 1885 2

原创 python 进阶——面向对象编程三大特性

一、类和对象:类(Class)是现实或思维世界中的实体在计算机中的反映,它将数据以及这些数据上的操作封装在一起。对象(Object)是具有类类型的变量。类和对象是面向对象编程技术中的最基本的概念。类和对象 的区别就是 鱼和三文鱼 的区别; 就是 猫和蓝猫 的区别。项目Value类(Class)创建实例的模板对象(Object)一个一个具体的实例如何定义类?class 类(): pass如何将类转换成对象?实例化是指在面向对象的编程中,把用类创建对象的

2021-02-27 23:45:34 1315

原创 python 进阶——编程类型

一、面向过程编程(eg:C语言):“面向过程”(Procedure Oriented)是一种以过程为中心的编程思想。分析出解决问题所需要的步 骤,然后用函数把这些步骤一步一步实现,使用的时候一个一个依次调用就可以了。面向对象的方法也是含有面向过程的思想。面向过程最重要的是模块化的思想方法。比如拿学生早上起来这件事说明面向过程,粗略的可以将过程拟为:(1)起床(2)穿衣(3)洗脸刷牙(4)去学校而这4步就是一步一步地完成,它的顺序很重要,你只需要一个一个地实现就行了。 而如果是用面向对象的方

2021-02-27 21:40:09 1202

原创 python的模块与包

一、模块:模块就是工具包,要想使用这个工具包中的工具(就好比函数),就需要导入这个模块模块是非常简单的Python文件,单个Python文件就是一个模块,两个文件就是两个模块1、模块的导入:为什么必须加上模块名调用呢? 普通的导入方式import 模块名.函数名因为可能存在这样一种情况:在多个模块中含有相同名称的函数,如果只是通过函数名来调用,解释器无法知道到底要调用哪个函数。所以如果像上述这样引入模块的时候,调用函数必须加上模块名。如果只需要用到模块中的某个函数/变量/类,如何导入

2021-02-26 01:26:48 1205

原创 python的异常处理

一、什么是异常?Error(错误)是系统中的错误,程序员是不能改变的和处理的,如系统崩溃,内存空间不足,方法调用栈溢等。遇到这样的错误,建议让程序终止。Exception(异常)表示程序可以处理的异常,可以捕获且可能恢复。遇到这类异常,应该尽可能处理异常,使程序恢复运行,而不应该随意终止异常。常见的ExceptionAttributeError(属性错误) 、IOError(输入输出错误) 、ImportError(路径错误) 、IndexError(索引错误)、SyntaxError(语法错误

2021-02-25 23:46:09 128

原创 python的高级特性

复习题目:词频统计练习"""技能需求: 1. 文件操作 2. 字符串的分割操作 3. 字典操作功能需求:词频统计 1. 读取song.txt文件 with open(filename) as f: content=f.read() 2. 分析文件中的每一个单词,统计每个单词出现的次数。{"hello":2, "python":1, "java":1} - 分析文件中的每一个单词 content = "hello python hello ja

2021-02-25 22:29:36 1251 1

原创 python的持久化存储文件操作

一、文件的基本操作:什么是文件:日常的我们的信息都记录在纸上,在计算机上相应的记录在硬盘上。文件的作用:存储数据# 1. 打开文件"""在python,使用open函数,可以打开一个已经存在的文件,或者创建一个新文件。open(文件名,访问模式) e.g. f = open('test.txt', 'w')如果文件不存在那么创建,如果存在那么就先清空,然后写入数据要读取二进制文件,比如图片、视频等等,用'rb', 'wb', 'ab'等模式打开文件即可mode: r: 只能读

2021-02-25 18:48:01 170

原创 python的函数

一、函数的概述:如果在开发程序时,需要某块代码多次,但是为了提高编写的效率以及代码的重用,所以把具有独立功能的代码块组织为一个小模块,这就是函数.我们已经接触过多个函数,比如 input() 、print()、range()、len() 函数等等,这些都是 Python 的内置函数,可以直接使用。编程语言中的函数,都可以用下图概括:从实现函数的角度来看,其至少需要想清楚以下 3 点:函数需要几个关键的需要动态变化的数据,这些数据应该被定义成函数的参数。函数需要传出几个重要的数据(

2021-02-25 18:47:42 1229

原创 python内置数据结构之集合和字典

一、集合:# 1. 集合的创建s = {1, 2, 3, 1, 2, 3} # {1, 2, 3}print(s, type(s))# 注意点1: 集合的元素必须时不可变数据类型。# s = {1, 2, 3, [1, 2, 3]}# print(s, type(s))# 注意点2:空集合不能使用{}, 而要使用set()# s = {} #此为创建一个空字典# print(s, type(s))s = set()print(s, type(s))# 2. 集合的特性:#

2021-02-25 18:47:22 1188

原创 python内置数据结构之列表和元组

一、序列:成员有序排列的,且可以通过下标偏移量访问到它的一个或者几个成员,这类类型统称为序列。序列数据类型包括:字符串,列表,和元组类型。特点: 都支持下面的特性a.索引与切片操作符b.成员关系操作符(in , not in)c.连接操作符(+) & 重复操作符(*)二、列表的创建(打了激素的数组):数组: 存储同一种数据类型的集和。列表(打了激素的数组): 可以存储任意数据类型的集和。创建一个空列表创建一个包含元素的列表,元素可以是任意类型,包括数值类型,列表,

2021-02-25 18:46:50 1240

原创 python字符串

一、字符串的创建和赋值:1、字符串的创建:字符串或串(String)是由数字、字母、下划线组成的一串字符。Python 里面最常见的类型。 可以简单地通过在引号间(单引号,双引号和三引号)包含字符的方式创建它。2、转义符号:一个反斜线加一个单一字符可以表示一个特殊字符,通常是不可打印的字符此处常用的有换行符、水平制表符以及转义反斜杠和单双引号。3、三重引号:作用一:进行多行注释Python中单行注释是#,多行注释的时候每行都写一个#,或者采用连续的三个双引号。作用二:定

2021-02-06 21:55:31 2709 1

原创 python的三大流程控制语句

一、认识三大流程控制:二、墨守成规的顺序流程控制:按顺序去执行步骤,是最基本的代码执行规则,不做过多的解释。三、有路任性的分支流程控制:1、分支流程语句:2、分支语句之三元运算符:简化了上图的代码:3、多分支语句:代码要求:分数为score,分为三个等级90=<score<=100 , grade=A80=<score<90 , grade=Bscore<80 , grade=Cscore = int(input("成绩:"))if 90

2021-02-04 18:36:15 2008

原创 python的基础语法

一、认识变量:变量是内存中的一块区域。对象赋值实际上是对象的引用。a=10变量的命名: 变量名由字母,数字,下划线组成, 不能以数字开头. (a,b, c)hello = 100, hello_world = 100, count2 =100, 1count=10(错误)Python中,变量定义时不需要指定类型的,当用变量的时候,必须要给这个变量赋值;二、认识运算符:1、python3支持的四种数据类型:在进行运算要先了解python所支持的数据类型:项目Value

2021-02-04 14:44:53 1213 1

原创 windows下的python环境搭建(pycharm快捷键、好玩的插件)

一、编译型语言和解释型语言:首先要清楚,我们所手写的python代码计算机不能直接运行,计算机要把高级语言翻译成机器语言,才能运行高级语言所编写的程序。根据翻译的时间不同, 翻译的方式分为两种:编译: 执行前一次性翻译。解释:边执行边翻译。二、安装解释器:可以参考python官网下载。步骤:如上图,有三种python的获取方式,推荐使用exe方式,即第二种。注意添加命令到系统环境变量。安装成功后,使用安装的python工具IDLE开始编写python脚本三、pychar

2021-02-04 12:37:26 1392 1

原创 docker仓库

一、docker仓库简介:二、docker hub:三、Registry:上传镜像到私有仓库[root@server1 docker]# docker search registry[root@server1 docker]# docker pull registry[root@server1 docker]# docker images[root@server1 docker]# docker history registry:latest[root@server1 docker]# d

2021-01-25 14:47:31 568

原创 docker(安装、镜像的建立、加速和优化)

一、docker简介:Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的 Linux或Windows 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。传统虚拟化与容器技术对比:官网链接:点击这里二、docker安装:1、软件仓库部署:部署docker仓库[root@server1 ~]# cd /etc/yum.repos.d/[root@server1 yum.repos.d]# vim do

2021-01-23 23:12:59 265

原创 haproxy负载均衡+pcs高可用+fence

实验环境:母盘为redhat7.6的操作系统,快照出四台虚拟机给真机和虚拟机都加上地址解析,如上图所示通过真机的httpd服务给虚拟机搭建7.6的网络软件仓库关闭防火墙,selinux状态设为disabled一、HAproxy简介:HAProxy是一个使用C语言编写的自由及开放源代码软件[1],其提供高可用性、负载均衡,以及基于TCP和HTTP的应用程序代理。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可

2021-01-22 23:30:03 1954 1

原创 SALTSTACK 自动化运维管理(SALTSTACK缓存、代理,自动化部署高可用、监控)

[root@server1 ~]# yum install https://repo.saltstack.com/yum/redhat/salt-repo-3000.el7.noarch.rpm[root@server1 ~]# cd /etc/yum.repos.d/[root@server1 yum.repos.d]# vim salt-3000.repo[salt-3000]name=SaltStack 3000 Release Channel for Python 2 RHEL/Cento

2021-01-22 10:17:29 484 1

原创 lvs负载均衡+keepalive高可用

一、实验环境:母盘为redhat7.6的操作系统,快照出四台虚拟机给真机和虚拟机都加上地址解析,如上图所示通过真机的httpd服务给虚拟机搭建7.6的网络软件仓库关闭防火墙,selinux状态设为disabled二、lvs:LVS:LVS的基本专业术语:项目ValueDSDirector Server。指的是前端负载均衡器节点RSReal Server。后端真实的工作服务器VIP向外部直接面向用户请求,作为用户请求的目标的IP地址DIPDi

2021-01-19 17:33:46 1607 1

原创 zabbix监控(API、proxy代理、睿象云告警系统)

一、zabbix:zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成,zabbix server与可选组件zabbix agent。zabbix server可以通过SNMP,zabbix agent,ping,端口监视等方法提供对远程服务器/网络状态的监视,数据收集等功能,它可以运行在Linux,Solaris

2021-01-17 18:05:41 1735

原创 安装部署codis

一、codis:Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.自动平衡使用非常简单图形化的面板和管理工具支持绝大多数

2021-01-15 22:17:09 147

原创 mysql(编译安装、主从复制、组复制、高可用)

一、mysql5.7的编译安装

2021-01-15 22:16:03 1301 1

原创 mysql数据库的基本管理

一、数据库的介绍:什么是数据库数据库就是个高级的表格软件常见数据库Mysql Oracle mongodb db2 sqlite sqlserver …Mysql (SUN -----> Oracle)mariadb:MariaDB数据库管理系统是MySQL的一个分支二、mariadb的安装三、软件基本信息:mariadb.service启动服务3306默认端口号/etc/my.cnf主配置文件/var/lib/mysql数据目录,当需要重

2021-01-12 01:09:09 164

原创 Apache的管理及优化

一、Apache的作用:在web被访问时通常使用http://的方式http://超文本传输协议http:// 超文本传输协议提供软件:Apache;nginx;stgw;jfe;Tengine二、Apache的安装及启用:更改Apache的服务端口:关闭防火墙:访问服务器的8080端口:Apache的默认端口为80,上图默认防火墙关闭,selinux关闭。若防火墙未关闭需要执行以下操作:firewall-cmd --list-all查看火墙信息

2021-01-10 16:48:42 160

原创 vsftpd服务的部署和优化

实验环境:server主机:1、selinux关闭2、火墙开启,加入ftp服务3、安装vsftpd 服务client主机:1、selinux关闭2、开启火墙3、安装lftp #ftp协议文本浏览器一、ftp介绍:ftp:file transfer proto互联网中最老牌的文件传输协议优点:对文本传输速率高,安全性高缺点:在传送图片的时候,传输效果不是很理想二、vsftpd安装及启用安装lftp功能以及vsftpd服务:开启匿名用户访问功能:vsftpd主配置

2021-01-10 14:34:24 91

原创 Linux的高级存储管理

一、逻辑卷pv物理卷 被处理过的物理分区pe物理扩展 设定存储最小单元vg物理卷组 捆绑pv到一个组中lv逻辑卷 分配最终的使用设备监控建立:watch -n 1 “pvs;echo ====;vgs;echo =====;lvs;echo =====;df -h /data”lvm设备建立:命令功能pvcreate /dev/sda2创建pvvgcreate westosvg -s 2M /dev/sda2创建vg -s

2020-11-26 21:53:47 127

原创 Linux存储的基本管理

一、设备识别设备接入系统后都是以文件的形式存在设备名称在系统中的设备名称SATA/SAS/USB/dev/sda,/dev/sdb ##s= SATA, d=DISK a=第几快IDE/dev/hd0,/dev/hd1 ##h= hardVIRTIO-BLOCK/dev/vda,/dev/vdb ##v=virtioM2(SSD)/dev/nvme0,/dev/nvme1 ##nvme=m2SD/MMC/EMMC(卡)/d

2020-11-25 23:16:49 158

原创 Linux系统引导过程及引导修复文件

一、通电二、bios初始化对硬件检测初始化硬件时钟三、磁盘引导mbr=主引导记录=0磁道 1扇区 446作用:记录grub2引导文件的位置当mbr数据丢失系统会因为找不到启动分区而停止启动问题模拟方式系统磁盘/dev/sdadd if=/dev/zero of=/dev/vda bs=446 count=1 清空系统/dev/vda上的mbr数据恢复方式:用光盘进入系统挽救模式chroot /mnt/sysimagegrub2-install /dev/xxxxxx #

2020-11-10 21:00:04 333

原创 Linux系统下的网络配置

一、 什么是IP ADDRESSinternet protocol ADDRESS ##网络进程地址 ipv4 internet protocol version 4 1.2x32 ip是由32个01组成 11111110.11111110.11111110.11111110 = 254.254.254.254二、子网掩码用来划分网络区域 子网掩码非0的位对应的ip上的数字表示这个ip的网络位 子网掩码0位对应的数字是ip的主机位 网络位表示网络区域 主机位表示网络区域里某台

2020-11-02 17:01:30 1305

原创 Linux系统的定时任务及延迟任务

一、系统延时任务命令功能at -l查看任务列表at -c 任务号查看任务内容at -r 任务号取消任务执行安装邮箱软件以及mail命令at 时间 ##设定任务执行时间at> touch /mnt/westos{1…5} ##任务动作 at> << CTRL +D ##用ctrl+D发起任务at now+1min ##延时1分钟at>touch file{1…3}at> <<

2020-10-30 22:39:53 166

原创 Linux中的无人职守安装脚本

一.kickstart自动安装脚本的作用在企业中安装多台操作系统时面临的问题:安装Linux操作系统时,安装过程会需要回答很多关于设定的问题这些问题必须手动选择,否则无法进行安装,当只安装1台Linux系统,手动选择设定工作量比较轻松当安装多台Linux,这些设定需要重复多次,这些重复动作是效率低下的操作如何解决以上问题?用文件来记录所有安装过程中问题的答案,并让所有需要安装的主机自动读取 kickstart作用:以上解决方案中记录系统安装过程中所有问题答案的文件叫kickstart脚本二.实验

2020-10-30 21:53:58 116

原创 Linux系统中的日志管理

实验环境westos_student: 172.25.254.7westos_localhost: 172.25.254.107两个主机都执行关闭防火墙操作:systemctl stop firewalld一、journald服务名称:systemd-journald.service默认日志存放路径: /run/logjournalctl:命令功能journalctl -n 3日志的最新3条journalctl --since “2020-05-01 11:00:

2020-10-30 21:34:56 185

原创 Linux下的虚拟化部署

一、kvm安装条件1.inter cpu ----> vmx2.amd cpu -------> svm二、kvm虚拟化安装dnf group install “Virtualization Client” “Virtualization Hypervisor” “Virtualization Tools” -yVirtualization Client ##虚拟化客户端Virtualization Tools ##虚拟化工具Virtualization Hyperviso

2020-10-27 00:02:29 169

原创 Linux系统中的软件管理

一、Linux系统中的软件包类型1.DEB UBlinux DEBlinux2.RPM redhat centOS fc3.bz2|gz|xz #需要源码安装需要编译 #绿色软件,直接可用 ntfs-3g_ntfsprogs-2017.3.23.tgz 需要编译 “configure” Firefox-latest-x86_64.tar.bz2 绿色注意在rhel8中只能使用绿色软件,源码编译软件和rpm软件二、软件包的名称结构[dhcp-server]-[4.3.6-30]

2020-10-26 23:16:23 212

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除