自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Data & Analysis

Data & Analysis & Safety

  • 博客(1749)
  • 论坛 (1)
  • 收藏
  • 关注

转载 IPSec协议

IPSec主要功能为加密和认证,为了进行加密和认证,IPSec还需要有密钥的管理和交换的功能,以便为加密和认证提供所需要的密钥并对密钥的使用进行管理。以上三方面的工作分别由AH,ESP和IKE(Internet Key Exchange,Internet 密钥交换)三个协议规定。为了介绍这三个协议,需要先引人一个非常重要的术语SA(Security Association安全关联)。所谓安全关联是指安全服务与它服务的载体之间的一个“连接”。AH和ESP都需要使用SA,而IKE的主要功能就是SA的建立和维护。

2021-05-15 16:18:18 5

转载 什么是ELK?

我们在进行日志分析时,目前的处理方式是在日志文件中grep(一种强大的文本索引工具)、awk(文本处理工具)获取自己想要的信息。但是在海量的数据日志中,通过这种处理方式,性能远远无法满足要求,主要面临的问题是:1、日志量太大如何归档;2、文本搜索太慢怎么办; 3、如何多维度查询; 因此,需要对日志进行集中化管理,收集所有服务器上的日志信息。常见的解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集、管理、访问。一般大型系统是一个分布式部署的架构,不同的服务器模块部...

2021-04-11 15:26:44 54

转载 索引模板(Index templates)

为什么需要索引模板? 在实际工作中,针对一批大量数据存储的时候需要使用多个索引库,如果手工指定每个索引库的配置信息(settings和mappings)的话就很麻烦了。所以,这个时候,就存在创建索引模板的必要了。 索引可以使用预定义的模板进行创建,这个模板称作Index templates。 模板设置包括settings和mappings,通过模式匹配的方式使得多个索引重用一个模板。1. settings主要作用于index的一些相关配置信息,如分片数、副本数,tranlo...

2021-04-11 11:00:31 33

转载 记录一则强制开库遭遇ORA-16433的处理过程

客户的一套开发环境,大概了解到的背景是清理空间时redo被运维人员当作log误删除,一线同事先接手处理,过程中遇到问题升级到我这里继续分析。接手后,数据库处于mount状态,之前恢复过程中已经做过resetlogs的操作,也设置了"_allow_resetlogs_corruption"隐藏参数为true,目前直接开库会提示需要恢复,重新进行resetlogs时报错ORA-600 [2662],起初看到这个错误心中略有些放松,根据经验,推下SCN就好了:SQL> alter datab.

2021-04-05 21:26:37 25

转载 屡次发生的Oracle谓词越界

近期在客户现场屡次遇到由于统计信息过旧导致执行计划选错引发的数据库性能问题,今天做个总结:谓词越界常见发生在where谓词是时间字段的,总的来说统计信息记录的是一个过旧的时间,而SQL传入的时间是一个最新的时间范围(往往是<time time1<c<time2),由于统计信息不全,按照CBO计算出来的结果集就很小,在多表关联的情况下,CBO就会选择认为的最优的关联方式,而实际执行时发现不是那么回事,有大量结果集需要扫描,就会爆发SQL性能问题。谓词越界就是select的谓词的条件不在

2021-04-05 20:49:44 27

转载 关于《数据库服务能力成熟度模型》的内容和要求

在首批评估中,云和恩墨作为国内领先的数据技术企业,首家顺利通过了《数据库服务能力成熟度模型》三大能力域的等级评估。其中“规划设计”和“运维运营”专项获得最高的五级评估,“实施部署”专项获得四级评估,这代表着云和恩墨在数据库服务领域已达到国内领先水平。目录导读 0、标准编制背景 1、三大能力域 1.1、规划设计能力 1.1.1、架构规划咨询 1.1.2、容灾备份规划 1.1.3、数据安全规划 1.1.4、产品选型规划 1.1.5.

2021-04-05 20:48:36 56

转载 RMAN-05501 RMAN-05001

错误信息:RMAN-05501: aborting duplication of target databaseRMAN-05001: auxiliary file name /oracle/oradata/skatedb/tbs_statspack01.dbf conflicts with a file used by the target database在用rman duplicate创建dg的时候,抛出如上的错误,这里只列出用rman dumplicate的过程,具体操作步骤如下:.

2021-03-28 20:27:00 34

转载 HTTP与HTTPS的区别及SSL协议

超文本传输协议HTTP协议被用于在Web浏览器和网站服务器之间传递信息,HTTP协议以明文方式发送内容,不提供任何方式的数据加密,如果攻击者截取了Web浏览器和网站服务器之间的传输报文,就可以直接读懂其中的信息,因此,HTTP协议不适合传输一些敏感信息,比如:信用卡号、密码等支付信息。  为了解决HTTP协议的这一缺陷,需要使用另一种协议:安全超文本传输协议HTTPS,为了数据传输的安全,HTTPS在HTTP的基础上加入了SSL协议,SSL依靠证书来验证服务器的身份,并为浏览器和服务器之间的通信加密。

2021-03-25 09:06:26 48

转载 从零学nginx-root,alias,index

1. rootroot模块就是用来指定访问资源的document_root,nginx会将root的值和location的值进行拼接,然后再拼接上url剩余的部分及index指定的值,举例:location /a/{ root /usr/local; index 1.html;}访问结果如下:/a --> /usr/local/a/1.html/a/b --> /usr/local/a/b/1.html2. aliasalias模块也是用来指定访问...

2021-03-21 15:17:47 34

转载 location与proxy_pass

location配置用于匹配请求的URL,即ngnix中的$request_uri变量1.location配置格式:location [ 空格 | = | ~ | ~* |^~|!~ | !~* ] /uri/ {}2.loacation匹配顺序location = /uri    =开头表示精确匹配,只有完全匹配上才能生效。location ^~ /uri   ^~ 开头对URL路径进行前缀匹配,并且在正则之前。location ~ pattern  ~开头表示区分大小写的正则匹配。locat

2021-03-13 21:49:55 48

转载 Nginx 反向代理与负载均衡详解

序言Nginx的代理功能与负载均衡功能是最常被用到的,关于nginx的基本语法常识与配置已在Nginx 配置详解中有说明,这篇就开门见山,先描述一些关于代理功能的配置,再说明负载均衡详细。Nginx 代理服务的配置说明1、设置 404 页面导向地址error_page 404 https://www.runnob.com; #错误页proxy_intercept_errors on; #如果被代理服务器返回的状态码为400或者大于400,设置的error_page配置起作用。默认为

2021-03-12 17:13:28 22

转载 使用parted 对大容量盘进行分区

MBR分区表:(MBR含义:主引导记录)  所支持的最大卷:2T(T;terabytes,1TB=1024GB)  对分区的设限:最多4个主分区或3个主分区加一个扩展分区。  GPT分区表:(GPT含义:GUID分区表)  支持最大卷:18EB,(E:exabytes,1EB=1024TB)  每个磁盘最多支持128个分区  使用parted建立大小超过2T的分区  1,parted/dev/sdb  可以输入p打印磁盘信息,查看分区的情况,找到起始和结束位置。  2,mklab...

2021-03-02 21:01:31 136

转载 RAID0 RAID1 RAID5 RAID10 RAID50

一.RAID定义RAID(Redundant Array of Independent Disk 独立冗余磁盘阵列)技术是加州大学伯克利分校1987年提出,最初是为了组合小的廉价磁盘来代替大的昂贵磁盘,同时希望磁盘失效时不会使对数据的访问受损 失而开发出一定水平的数据保护技术。RAID就是一种由多块廉价磁盘构成的冗余阵列,在操作系统下是作为一个独立的大型存储设备出现。RAID可以充分发 挥出多块硬盘的优势,可以提升硬盘速度,增大容量,提供容错功能够确保数据安全性,易于管理的优点,在任何一块硬盘出现问题的情

2021-03-02 15:46:09 47

转载 使用parted分区的步骤

使用parted分区的步骤1. fdisk -l 查看一下当前的存储设备,这里可以看到新加入的磁盘,比如/dev/sdb2. parted /dev/sdb 进入分区命令行模式,可以随时用help来查看命令用法3. mklabel gpt 将MBR格式的磁盘格式化为GPT格式4. mkpart primary 0 -1 将整个磁盘化为一个分区,一般命名为/dev/sdb15. print 打印分区结果6. quit 退出分区命令行模式7. mkfs.xfs /dev/sdb1 格...

2021-03-01 15:44:59 91

转载 yum makecache

$ yum makecache # 把服务器的包信息下载到本地电脑缓存起来,makecache建立一个缓存 # 以后用install时就在缓存中搜索,提高了速度。 # 配合yum -C search xxx使用,不用联网检索就能查找软件信息 $ yum clean all # 清理缓存...

2021-02-25 09:11:54 34

转载 yum clean all的作用

今天发现一台机器/var > 70% ,查了下是/var/cache/yum目录。使用yum clean all 清除,很方便,绕开了没有root权限的问题。该命令介绍如下,作用:清除YUM缓存。yum 会把下载的软件包和header存储在cache中,而不自动删除。如果觉得占用磁盘空间,可以使用yum clean指令进行清除,更精确 的用法是yum clean headers清除header,yum clean packages清除下载的rpm包,yum clean all一全部清除。

2021-02-25 09:10:58 87

转载 什么是EPEL?及epel release的安装

RHEL以及他的衍生发行版如CentOS、Scientific Linux为了稳定,官方的rpm repository提供的rpm包往往是很滞后的,当然了,这样做这是无可厚非的,毕竟这是服务器版本,安全稳定是重点,官方的rpm repository提供的rpm包也不够丰富,很多时候需要自己编译那太辛苦了,而EPEL恰恰可以解决这两方面的问题。什么是EPEL?EPEL的全称叫 Extra Packages for Enterprise Linux。EPEL是由 Fedora 社区打造,为 RHEL 及衍生.

2021-02-25 09:09:12 108

转载 kkjcre1p: unable to spawn jobq slave process

​​​​​问题背景:客户反映数据库有时候出现连接等待,以下为日志一部分报错内容。kkjcre1p: unable to spawn jobq slave process, slot 3, error 1089Sun Oct 27 11:21:35 2019kkjcre1p: unable to spawn jobq slave process, slot 3, error 1089Sun Oct 27 11:21:35 2019kkjcre1p: unable to s..

2021-02-22 15:06:47 38

转载 kkjcre1p: unable to spawn jobq slave process, slot 0, error 1089(Linux x86_64)补丁

在shutdown immediately的时候,alert Log出现如下错误信息,并且不能正常关闭kkjcre1p: unable to spawn jobq slave process, slot 0, error 1089该问题是由bug23102157引起,查看MOS,并没有Linux平台的Patch,后来开SR,Oracle support高效的开发出来Linux x86_64平台的补丁并更新出来。补丁链接https://updates.oracle.com/download/2..

2021-02-22 15:03:29 76

转载 MySQL高可用探索之orchestrator

摘要:使用orchestrator实现mysql主从自动切换、故障转移、拓扑管理。部署MySQL环境(一主两从)IP:端口 角色 版本 192.168.30.113:4406 master Percona 5.7.24-27-log CentOS Linux release 7.4.1708 (Core) 3.10.0-693.el7.x86_64 192.168.30.118:4406 slave Percona 5.7.24-27-log CentOS

2021-02-22 10:42:26 155

转载 orchestrator基础和安装

orchestrator是一款开源对MySQL复制提供高可用、拓扑的可视化管理工具,采用go语言编写,它能够主动发现当前拓扑结构和主从复制状态,支持MySQL主从复制拓扑关系的调整、支持MySQL主库故障自动切换(failover)、手动主从切换(switchover)等功能。 orchestrator后台依赖于MySQL存储元数据,能够提供Web界面展示MySQL集群的拓扑关系及实例状态,可以通过Web界面可更改MySQL实例的部分配置信息,同时也提供命令行和api接口,以便更加灵活的...

2021-02-22 10:40:59 107

转载 MySQL5.6 PERFORMANCE_SCHEMA 说明

背景: MySQL 5.5开始新增一个数据库:PERFORMANCE_SCHEMA,主要用于收集数据库服务器性能参数。并且库里表的存储引擎均为PERFORMANCE_SCHEMA,而用户是不能创建存储引擎为PERFORMANCE_SCHEMA的表。MySQL5.5默认是关闭的,需要手动开启,在配置文件里添加:[mysqld]performance_schema=ON查看是否开启:mysql>show variables like 'performance_schema'...

2021-02-19 17:53:50 24

转载 分析Mysql表读写、索引等操作的sql语句效率优化问题

上次我们说到mysql的一些sql查询方面的优化,包括查看explain执行计划,分析索引等等。今天我们分享一些 分析mysql表读写、索引等等操作的sql语句。闲话不多说,直接上代码:反映表的读写压力 1 2 3 4 5 6 7 8 SELECT file_name AS file, count_read, sum_number_of_bytes_read AS total_re...

2021-02-19 17:48:11 32

转载 应用示例荟萃 | performance_schema全方位介绍(下)

3. 查看最近的SQL执行信息3.1 查看最近的top sql使用performance_schema中的语句当前事件记录表和语句事件历史记录表可以查询数据库中最近执行的一些SQL语句,以及语句相关的信息,这里我们以events_statements_history表为例,查询结果按照语句完成时间倒序排序,如下:root@localhost:performance_schema04:33:33>selectTHREAD_ID,EVENT_NAME,SOURCE...

2021-02-19 13:55:51 26

转载 应用示例荟萃 | performance_schema全方位介绍(中)

2.3 找出谁持有表级锁表级锁对应的instruments(wait/lock/table/sql/handler)默认启用,对应的consumers表为performance_schema.table_handles在setup_consumers只受全局配置项global_instrumentation控制,默认启用。所以,默认情况下只需要设置系统配置参数performance_schema=ON即可,下面我们通过一个示例演示如何找出谁持有表级锁首先,开启两个会话,第一个会话对一个表..

2021-02-19 13:55:14 38

转载 应用示例荟萃 | performance_schema全方位介绍(上)

经过前面6个篇幅的学习,相信大家对什么是performance_schema,已经初步形成了一个整体认识,但我想很多同行看完之前的文章之后可能还是一脸懵逼,今天就为大家带来performance_schema系列的最后一个篇章(全系共7个篇章),在这一期里,我们将为大家列举数十个performance_schema应用示例。下面,请跟随我们一起开始performance_schema系统的学习之旅吧。1.利用等待事件排查MySQL性能问题通常,在生产服务器上线之前, 我们会对数据库服务器的硬件.

2021-02-19 13:54:33 44

转载 复制状态与变量记录表 | performance_schema全方位介绍

不知不觉中,performance_schema系列快要接近尾声了,今天将带领大家一起踏上系列第六篇的征程(全系共7个篇章),在这一期里,我们将为大家全面讲解performance_schema中的复制状态与变量统计表。下面,请跟随我们一起开始performance_schema系统的学习之旅吧~01复制信息统计表通常,DBA或相关数据库运维人员在查看从库的复制相关的信息,都习惯性的使用show slave status语句查看。也许你会说,我也会用performance_schema下的表查看

2021-02-19 09:29:49 34

转载 数据库对象事件与属性统计 | performance_schema全方位介绍

上一篇《事件统计 | performance_schema全方位介绍》详细介绍了performance_schema的事件统计表,但这些统计数据粒度太粗,仅仅按照事件的5大类别+用户、线程等维度进行分类统计,但有时候我们需要从更细粒度的维度进行分类统计,例如:某个表的IO开销多少、锁开销多少、以及用户连接的一些属性统计信息等。此时就需要查看数据库对象事件统计表与属性统计表了。今天将带领大家一起踏上系列第五篇的征程(全系共7个篇章),本期将为大家全面讲解performance_schema中对象事件统计表..

2021-02-19 09:25:14 84

转载 事件记录 | performance_schema全方位介绍

导语在上一篇《配置详解 | performance_schema全方位介绍》中,我们详细介绍了performance_schema的配置表,坚持读完的是真爱,也恭喜大家翻过了一座火焰山。相信有不少人读完之后,已经迫不及待的想要跃跃欲试了,今天将带领大家一起踏上系列第三篇的征程(全系共7个篇章),在这一期里,我们将为大家全面讲解performance_schema中事件原始记录表。下面,请跟随我们一起开始performance_schema系统的学习之旅吧。等待事件表...

2021-02-18 20:29:59 65

转载 配置详解 | performance_schema全方位介绍

| 导语在上一篇《初相识 | performance_schema全方位介绍》中粗略介绍了如何配置与使用performance_schema,相信大家对performance_schema能够为我们提供什么样的性能数据已经有一个初步的认识,今天将带领大家一起踏上系列第二篇的征程(全系共7个篇章),在这一期里,我们将为大家全面讲解performance_schema配置方式以及各个配置表的作用。下面,请跟随我们一起开始performance_schema系统的学习之旅吧。| ...

2021-02-18 20:19:58 162

转载 初相识|performance_schema全方位介绍

|目 录1、什么是performance_schema2、performance_schema使用快速入门2.1. 检查当前数据库版本是否支持2.2. 启用performance_schema2.3. performance_schema表的分类2.4. performance_schema简单配置与使用|导 语很久之前,当我还在尝试着系统地学习performance_schema的时候,通过在网上各种搜索资料进行学习,但很遗憾,学习的效果并不是很明显,很多标称类似 "深入浅

2021-02-18 17:54:09 35

转载 利用performance_schema进行故障诊断(mysql金字塔法则读书笔记)

instrunments:生产者,用于采集mysql中各种操作产生的事件信息,对应配置表中的配置项,我们可以称之为采集配置项。consumers:消费者,对应的消费者用于存储来自instruments采集的数据,对应配置表的配置项,我们可以称之为消费存储配置项。启用所有等待事件的instruments:use performance_schemaupdate setup_instruments set enabled='yes',timed='yes' where name like 'w.

2021-02-18 17:45:50 57

转载 MongoDB特点和使用场景

Mongodb的优点与不足(1)Mongodb的不足之处在集群分片中的数据分布不均匀 单机可靠性比较差 大数据量持续插入,写入性能有较大波动 磁盘空间占用比较大(2)Mongodb的过人之处无模式 查询与索引方式灵活,是最像SQL的Nosql 支持复制集、主备、互为主备、自动分片等特性MongoDB 的应用场景和不适用场景1.适用场景对于MongoDB实际应用来讲,是否使用MongoDB需要根据项目的特定特点进行甄别,这就需要我们对MongoDB适用和不适用的场景有一定的了

2021-02-17 17:33:00 98

转载 大页面和透明大页面

内存是由块管理,即众所周知的 页面。一个页面有 4096 字节。1MB 内存等于 256 个页面。1GB 内存等于 256000 个页面等等。CPU 有内嵌的 内存管理单元,这些单元中包含这些页面列表,每个页面都使用 页表条目参考。让系统管理大量内存有两种方法: 增加硬件内存管理单元中页表数 增大页面大小 第一个方法很昂贵,因为现代处理器中的硬件内存管理单元只支持数百或者书签页表条目。另外适用于管理数千页面(MB 内存)硬件和内存管理算法可能无法很好管理数百万(甚至数十亿)页面。这会

2021-02-17 10:57:14 54

转载 大页内存与透明大页详解

大页内存大页内存(HugePages),有时也叫“大内存页”、“内存大页”、“标准大页”。操作系统以内存页为单位管理内存,内存页的大小对系统性能有影响。内存页设得太小,内存页会很多,管理内存页的数组会比较大,耗内存,同时TLB(Translation Lookaside Buffer,页表寄存缓冲器,可理解为页表缓冲)大小是固定的,导致TLB MISS增加。在不同的应用场合,内存页的大小的最优值是不同的。所以一般的系统都支持多种内存页的取值。大页内存的优势“大内存页”有助于 Linux 系统进行

2021-02-17 10:55:04 306

转载 LInux 标准大页和透明大页

阅读目录Huge Pages Transparent Huge Pages 使用Huge pages优点 使用Huge pages缺点 Transparent Huge pages存在的问题 如何关闭Transparent Huge pages ?Huge pages (标准大页)和Transparent Huge pages(透明大页)在Linux中大页分为两种:Huge pages (标准大页)和Transparent Huge pages(透...

2021-02-17 10:54:33 254

转载 科普项:详解PCI-E与SATA SSD如何选

目前正值新学期开学季,不少同学过年时拿了不少的压岁钱,所以打算在新一学期来临之时,为自己选购一台全新的主机。为此,我们针对学生党用户群体中众多的硬件选购问题特别推出了《开学购机宝典》栏目,将会分期为大家介绍主板、显卡、键鼠、存储、CPU、机箱电源、散热器以及显示器的相关知识。本期我们的主题是主机中最基础的硬件之一——SSD。近几年固态硬盘更是发展迅速,随着固态硬盘生产工艺以及用户对读写速度的追求,越来越多的中高端SSD开始选择PCI-E接口来进行SSD与主板的对接。在本篇文章中笔者将详细介绍SATA

2021-02-16 21:08:47 71

转载 CPU的构架(x86/ARM64/ARM)

CISC & RISCCPU架构有很多种,常用的主要有X86,ARM(还有其他不常用的MIPS,IA64),它们之间的差距都很大。但是如果从最基本的逻辑角度来分类的话,它们可以被分为两大类,CISC(Complex Instruction Set Computer)与 RISC(Reduced Instruction Set Computer)Intel和ARM处理器的区别是Intel使用CISC(复杂指令集计算机) ARM使用RISC(精简指令集计算机)主要的四种CPUx86

2021-02-16 20:55:40 51

转载 Linux 找出某文件夹下一段时间内修改过的文件并复制到另一个文件夹

指令# 将当前文件夹下60分钟内修改过的文件 复制到/home/usr/test/ 文件夹find . -mmin -60 -type f | xargs -i cp {} /home/usr/test/1 2代码释义find . -mmin - 60 -type f 表示找到当前文件夹下60分钟内修改过的普通文件 -type f 指定了文件类型为普通文件,否则会将当前文件夹也列入结果 通过管道将find的结果输出给后续命令,并通过xargs -i 将该结果 放至 { } 中..

2021-02-10 10:27:09 91

转载 Linux使用find查找最后修改时间超过三天的文件并移动到指定目录(附:find找出文件并清空)...

使用场景:应用程序,如tomcat,每天都会生成新的日志文件,时间一长,占用大量的磁盘,需要定期清理这些文件。代码如下:find /tomcat/logs/*.log -ctime +3 -exec mv {} /tmp也可以使用xargs传参数find /tomcat/logs/*.log -ctime +3 | xargs mv {} /tmp说明:将指定目录下超过3天未修改的日志文件移动到tmp中。如果要直接删除,将命令改为如下即可:find /tomcat/l..

2021-02-10 09:59:11 218

空空如也

小叔叔乎的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除