- 博客(122)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 跨域资源共享
跨域资源共享跨域资源共享（Cross Origin Resource Sharing，CORS）是由W3C标准化组织提出的一种网络浏览器的规范机制，定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中，由于同源安全策略（Same Origin Policy，SOP）的存在，不同域之间的网站脚本和内容是无法进行交互的。OBS支持CORS规范，允许跨域请求访问OBS中的资源。CORS配置会在两分钟内生效。OBS支持静态网站托管，而只有当对该桶设置了合理的.
2021-05-11 21:17:12
328
原创 分布式存储问题及解决方案
分布式存储存在的问题分布式存储一般情况下都是靠“副本”来确保数据的安全性和完整性。每块盘记录的数据内容都不一样，当某一块盘出现问题，都需要从其他不同盘内的数据块中进行快速的数据重构。数据重构是需要时间的，如果大量盘同时故障，将会发生什么？另外，OSD的扩容，也会导致数据的迁移，也会影响存储。分布式存储一般都采用副本的方式来确保数据的安全性。写入磁盘前不需要进行额外复杂的计算，就可以将数据写入磁盘，是最快速的方式。是一种空间换时间的方法，即想得到较好的存储性能，就采用副本的方式。当有副本出现丢
2021-03-16 19:56:59
4007
原创 Nginx面试要点
潜移默化用到不少nginx的能力，但在面试的时候没有吹成对应的概念。面谈nginx核心能力nginx是老牌web服务器，以下口水话的nginx基础能力，大家都耳熟能详，看看就行，面试官也不打算考查这个。高并发连接: 官方称单节点支持5万并发连接数，实际生产环境能够承受2-3万并发。内存消耗少: 在3万并发连接下，开启10个nginx进程仅消耗150M内存 (15M×10=150M)配置简单成本低廉: 开源免费1. 正向、反向代理所谓“代理”，是指在内网边缘 设置一个硬件/软
2021-03-11 11:17:36
236
原创 ceph架构及 IO流程
CEPH是由多个节点构成的集群，它具有良好的可扩展性和可靠性。节点之间相互通信以达到：存储和检索数据数据复制监控集群的健康状况保证数据的完整性检测故障并恢复基本架构如下图：分布式对象存储系统RADOS是CEPH最为关键的技术，主要由OSD和Monitor组成。CEPH是一个完全无中心架构的计算模式的存储系统。client通过设备映射关系计算出其写入数据的位置，这样client可以直接与存储节点通信，从而避免中心节点的性能瓶颈。很厉害的样子，身为写IO，感...
2021-03-03 15:32:17
961
1
原创 shell for循环
关于shell中的for循环用法很多，一直想总结一下，今天网上看到上一篇关于for循环用法的总结，感觉很全面，所以就转过来研究研究，嘿嘿…1、 for((i=1;i<=10;i++));do echo $(expr $i \* 4);done2、在shell中常用的是 for i in $(seq 10)3、for i in `ls`4、for i in ${arr[@]}5、for i in $* ; do6、for File in /proc/sys/net/ipv4/conf/*/
2021-01-08 18:43:01
428
1
原创 RHEL7环境下19c RAC安装udev规则配置ASM共享存储
【引言】最近RHEL7.6环境下安装了一套oracle 19C的环境，其中最基础的asm前期共享存储UDEV配置，配置时有点意思，故特此记录下，以备后续查看。Step 1: 取得多路径融合的UUID#udevadm info --query=all --name=/dev/mapper/mpatha | grep -i DM_UUIDE: DM_UUID=mpath-360002ac0000000000000003a00019a05[root@approd-rac1 ~]# udevadm
2021-01-06 19:55:49
1370
原创 dd 命令测试磁盘性能
1.dd命令的简单使用工作中，我们经常需要测试磁盘的性能，我们可以使用dd命令对系统的磁盘性能进行一个测试。dd if=/dev/zero of=/mnt/test/testfile bs=1G count=1 oflag=direct if:表示从/dev/zero这个设备读取数据，在类UNIX 操作系统中,/dev/zero是一个特殊的设备文件，当你读它的时候，它会提供无限的空字符（NULL, ASCII NUL, 0x00） of:就是数据的输出位置，这里可以是驱动器、..
2020-12-22 21:11:11
5162
原创 ORACLE RAC ASM磁盘规划
基于ASM冗余设计架构实现的数据库双活方案，如何规划ASM？ASM使用独特的镜像算法：不镜像磁盘，而是镜像盘区。作为结果，为了在产生故障时提供连续的保护，只需要磁盘组中的空间容量，而不需要预备一个热备(hot spare)磁盘。不建议用户创建不同尺寸的故障组，因为这将会导致在分配辅助盘区时产生问题。ASM将文件的主盘区分配给磁盘组中的一个磁盘时，它会将该盘区的镜像副本分配给磁盘组中的另一个磁盘。给定磁盘上的主盘区将在磁盘组中的某个伙伴磁盘上具有各自的镜像盘区。ASM确保主盘区和其镜像副本不会...
2020-12-16 21:17:58
4321
原创 S3 防盗链/跨域访问
跨域资源共享 CORS 详解http://www.ruanyifeng.com/blog/2016/04/cors.htmlorigin对于简单请求，浏览器直接发出CORS请求。具体来说，就是在头信息之中，增加一个Origin字段。下面是一个例子，浏览器发现这次跨源AJAX请求是简单请求，就自动在头信息之中，添加一个Origin字段。GET /cors HTTP/1.1Origin: http://api.bob.comHost: api.alice.comAccep...
2020-11-20 09:45:11
862
原创 2020-11-10
我们都知道Oracle RAC具有复杂的集群架构，今天和大家分享一下RAC与共享存储的规划。在开始之前，先简单分析一下oracle rac的基本组成：OracleRAC可以从软件和硬件两个维度展开理解，其中，软件包括集群管理软件（clusterware）以及磁盘管理（ASM），构成RAC高可用解决方案；硬件则对接服务器、网络以及存储。下文我们将从RAC的工作机制、文件规划、ASM磁盘管理三个方面，让大家了解OracleRAC的存储规划。Oracle RAC的是怎么工作的老王家儿子卖早
2020-11-10 16:39:25
256
原创 ORACLE 数据库的体系结构
先来看一个图，这个图取自于教材，这个图对于从整体上理解 ORACLE 的体系结构组件，非常关键。首先看张图：对于一个数据库系统来说，假设这个系统没有运行，我们所能看到的和这个数据库相关的无非就是几个基于操作系统的物理文件，这是从静态的角度来看,如果从动态的角度来看呢,也就是说这个数据库系统运行起来了，能够对外提供服务了，那就意外着数据库系统启动了自己的一个实例，综合以上2个角度，Oracle如何定义上述描述呢？我们来引入第一个概念，Oracle服务器，所谓Ora...
2020-11-10 16:28:02
765
原创 Kubernetes云原生开源分布式存储
Kubernetes云原生开源分布式存储介绍1 Kubernetes存储介绍1.1 为何引入PV、PVC以及StorageClass？熟悉Kubernetes的都对PV、PVC以及StorageClass不陌生，我们经常用到，因此这里不再详细介绍PV、PVC以及StorageClass的用法，仅简单聊聊为什么需要引入这三个概念。我们看下最早期Pod使用Volume的写法:apiVersion:v1kind:Podmetadata:name:test-podspec:...
2020-11-06 16:54:56
2122
1
原创 Linux系统常用命令速查手册
系统信息arch#显示机器的处理器架构(1)uname-m#显示机器的处理器架构(2)uname-r#显示正在使用的内核版本dmidecode-q #显示硬件系统部件-(SMBIOS/DMI)hdparm-i/dev/hda #罗列一个磁盘的架构特性hdparm-tT/dev/sda #在磁盘上执行测试性读取操作cat/proc/cpuinfo #显示CPUinfo的信息cat/proc/interrup...
2020-10-30 11:50:41
366
1
原创 redhat
bond配置红帽官方：https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/deployment_guide/s2-networkscripts-interfaces-cha绑定的MAC地址将从第一个要获取接口的接口获取。如果需要，也可以使用HWADDR指令指定它。如果要NetworkManager控制此接口，请删除该NM_CONTROLLED=no指令，或将其设置为yes，然后添加TYPE=B
2020-10-29 11:34:25
287
原创 AIX CPU配置之EC/VP
CPU核数CPU分配模式可以是某个分区（LPAR）独占某个/某几个CPU，也可以是某个分区和其他分区共享CPU资源池。Dedicated模式当CPU分配模式为dedicated模式时，CPU个数即为核的个数。1.获取来源Nmon BBBP Sheet：Number Of Processors命令行Prtconf或lsconf：Number Of Processors2.最佳实践建议性能测试所用的LPAR CPU核数与生产保持一致，资源不足时可以采用1/2，1/3的比例缩减，但不应小于2核。Sh...
2020-10-19 17:02:32
1372
原创 Oracle - 数据库的实例、表空间、用户、表之间关系
完整的Oracle数据库通常由两部分组成：Oracle数据库和数据库实例。1) 数据库是一系列物理文件的集合（数据文件，控制文件，联机日志，参数文件等）；2) Oracle数据库实例则是一组Oracle后台进程/线程以及在服务器分配的共享内存区。在启动Oracle数据库服务器时，实际上是在服务器的内存中创建一个Oracle实例（即在服务器内存中分配共享内存并创建相关的后台内存），然后由这个Oracle数据库实例来访问和控制磁盘中的数据文件。Oracle有一个很大的内存快，成为全局区（SGA）。.
2020-10-16 16:38:05
161
原创 linux-CPU 性能优化总结
在Linux系统中，由于成本的限制，往往会存在资源上的不足，例如 CPU、内存、网络、IO 性能。本文，就对 Linux 进程和 CPU 的原理进行分析，总结出 CPU 性能优化的方法。1.分析手段在理解平均负载之前，先要理清楚 Linux 下的进程状态。1.1.进程状态1.1.1. R (TASK_RUNNING)，可执行状态只有在该状态的进程才可能在 CPU 上运行。而同一时刻可能有多个进程处于可执行状态，这些进程的 task_struct 结构（进程控制块）被放入对应 CPU ..
2020-10-14 20:14:20
1632
1
原创 公有云多region多AZ机构
云区域（region)，可用区（AZ），跨区域数据复制（Cross-region replication）与灾备（Disaster Recovery）（部分1）本文分两部分：部分1和部分2。部分1 介绍 AWS，部分2 介绍阿里云和OpenStack云。1. AWS1.1 AWS 地理组件概况AWS 提供三种地理性组件：Regions：区域，即AWS提供云服务的一个区域，其目的是为了用户能就近接入，降低网络延迟。通常是一个城市的若干个AZ组成一个region。2016年，AWS 宣布..
2020-09-27 15:27:47
6603
原创 存储数据备份架构
备份的发展 备份是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。在存储备份技术的发展过程中，衍生了下面几种主流的组网方式，包括Host、LAN、LAN-free、Server-free和Server-less。Host备份方式 最原始的备份技术是在生产服务器上将备份数据直接拷贝至备份介质中，称之为Host备份方式。 点评:Host备份类似将C盘数据备份到D盘，该组...
2020-06-08 11:57:17
2526
原创 分布式存储的架构以及存在的问题和解决办法2
今天我们继续来讲讲关于Raid和副本、分布式存储的架构以及存在的问题和解决办法，即下面四至七部分的内容：一、存储类型二、文件系统三、存储介质四、Raid和副本五、分布式存储的架构六、分布式存储存在的问题七、解决的方法四、Raid和副本把磁盘们相同偏移量的一块空间横向进行分割，组成一条逻辑上存储空间。数据是先写满一条条带，再写下一条条带。一个卷可以有很多条条带组成。条带的划分应该的磁盘配置初级就完成。条带包含扇区（或块）的个数叫条带长度；每个磁盘内包含属于这个...
2020-05-29 14:15:15
5745
原创 分布式存储的架构以及存在的问题和解决办法1
前言分布式存储存在的风险，其实就是因为“共享”、“大数据量”、“高性能”和X86服务器+廉价的磁盘为载体之间的矛盾所产生的，不是有些读者说的“数据架构”的问题。其实任何存储都存在这个问题，只是分布式存储更严重。本文其实是从主机的网络、磁盘的吞吐角度分析存在的风险，所以和用那个厂家的存储无关。还有人说你是危言耸听，如果按照你说的，这么多人用了分布式存储有这样的地雷岂不是要炸飞？软件定义的东西其实有很多BUG，重要的是能发现问题，事先做好弥补或方案。还有人说，分布式存储用到现在也不超过2年，发生
2020-05-29 14:14:57
2281
原创 高端存储架构的前世今生
双控存储架构图中低端存储系统采用的是双控共享访问后端的全部磁盘扩展柜，形成如下图所示的架构：该架构是传统存储系统的关键点之一，正式利用后端共享存储的方式，才使得两个控制器之间才能够在任何一方出现故障，或者某个链路出现问题之后，系统依然可以从另外一条路对硬盘进行访问。低端存储拼价格，中端存储拼功能，那么高端存储拼什么？当然是架构。俗话说，外行看热闹，内行看门道。对于高端存储来说，这个门道就是架构。高性能、高可靠和可扩展性是所有高端存储面临的“三角”难题，也是成为衡量高...
2020-05-27 15:47:18
924
原创 高端存储
2019年的CCF已经是举办的第十五届峰会了，对于发展相对较晚的国内IT技术全来说，十五年可以说是一个非常老的峰会了。而在这十五年，CCF也见证了中国高性能计算行业的发展。高性能计算对应的“高端存储”...
2020-05-26 20:40:43
584
原创 存储技术-硬盘接口及传输协议
首先，既然将接口与协议，就要明白这三个概念：传输总线，传输接口，传输协议总线，其实就是一条通道，就像公路，公路的大小与车速，决定了公路上的最大车流量，总线的位宽大小与传输频率，决定了在一次数据传输中能提供的最大速度。传输接口，就是平时我们用时要接入的插口，类似公路的不同出入口。传输协议，就是数据传输的方法，不同级别公路会配套实行不同的交通规则，不同接口/总线/设备也就会有不同标准。传输协议限定着硬盘（准确的就是硬盘控制器，常说的主控）与控制器（南桥等）如何传输，每当有数据到达控制...
2020-05-23 22:34:55
2607
原创 linux multipath多路径配置文件解读
多路径multipath配置文件详解 默认情况下，multipath已经支持大部分常见的存储型号（可见multipath.conf.defaults），但不同的multipath版本可能都有些不同。这时，建议参考存储的官方文档，但有时候，同一台机器上如果连接了一个以上的存储时，可能默认规则并不完全适用。这时我们可以给特定的存储定制多路径符合的策略。 配置文件的模板默认位于/usr/share/doc/device-mapper-multipath-x.x.x/multipath.conf（x为m
2020-05-21 11:43:16
4314
原创 shell-日志分析
列出当天访问次数最多的IPcut -d- -f 1 /usr/local/apache2/logs/access_log |uniq -c | sort -rn | head -20cut -d, --delimiter=DELIM use DELIM instead of TAB for field delimiter...
2020-04-17 23:20:15
312
原创 HAProxy+Keepalived部署
一 原理简介1.HAProxyHAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进当前的架构中， 同时可以保护web服务器不...
2020-04-12 18:02:20
498
原创 17.网络性能-linux网络性能评估
网络基准测试熟悉了网络的性能指标后，接下来，我们再来看看，如何通过性能测试来确定这些指标的基准值。你可以先思考一个问题。我们已经知道，Linux 网络基于 TCP/IP 协议栈，而不同协议层的行为显然不同。那么，测试之前，你应该弄清楚，你要评估的网络性能，究竟属于协议栈的哪一层？换句话说，你的应用程序基于协议栈的哪一层呢？根据前面学过的 TCP/IP 协议栈的原理，这个问题应该不难回答。比如：...
2020-04-09 23:22:28
175
原创 16.网络性能-linux网络指标
性能指标实际上，我们通常用带宽、吞吐量、延时、PPS（Packet Per Second）等指标衡量网络的性能。带宽，表示链路的最大传输速率，单位通常为 b/s （比特 / 秒）。吞吐量，表示单位时间内成功传输的数据量，单位通常为 b/s（比特 / 秒）或者 B/s（字节 / 秒）。吞吐量受带宽限制，而吞吐量 / 带宽，也就是该网络的使用率。延时，表示从网络请求发出后，一直到收到远端响应，所需...
2020-04-09 23:13:24
689
原创 15.网络性能-linux网络基础
为了解决网络互联中异构设备的兼容性问题，并解耦复杂的网络包处理流程，OSI 模型把网络互联的框架分为应用层、表示层、会话层、传输层、网络层、数据链路层以及物理层等七层，每个层负责不同的功能。其中，应用层，负责为应用程序提供统一的接口。表示层，负责把数据转换成兼容接收系统的格式。会话层，负责维护计算机之间的通信连接。传输层，负责为数据加上传输表头，形成数据包。网络层，负责数据的路由和转发。数据链路层...
2020-04-09 23:07:10
157
原创 14.IO性能测试优化
I/O 基准测试I/O 性能优化的目标是什么？换句话说，我们观察的这些 I/O 性能指标（比如 IOPS、吞吐量、延迟等），要达到多少才合适呢？事实上，I/O 性能指标的具体标准，每个人估计会有不同的答案，因为我们每个人的应用场景、使用的文件系统和物理磁盘等，都有可能不一样。为了更客观合理地评估优化效果，我们首先应该对磁盘和文件系统进行基准测试，得到文件系统或者磁盘 I/O 的极限性能。...
2020-04-08 23:06:38
388
原创 13.IO性能分析套路
0.性能指标描述 I/O 的性能指标有哪些？文件系统 I/O 性能指标首先，最容易想到的是存储空间的使用情况，包括容量、使用量以及剩余空间等。我们通常也称这些为磁盘空间的使用量，因为文件系统的数据最终还是存储在磁盘上。不过要注意，这些只是文件系统向外展示的空间使用，而非在磁盘空间的真实用量，因为文件系统的元数据也会占用磁盘空间。而且，如果你配置了 RAID，从文件系统看到的使...
2020-04-08 22:59:58
157
原创 12.IO性能-磁盘IO原理
0.磁盘磁盘是可以持久化存储的设备，根据存储介质的不同，常见磁盘可以分为两类：机械磁盘和固态磁盘。无论机械磁盘，还是固态磁盘，相同磁盘的随机 I/O 都要比连续 I/O 慢很多，原因也很明显。对机械磁盘来说，我们刚刚提到过的，由于随机 I/O 需要更多的磁头寻道和盘片旋转，它的性能自然要比连续 I/O 慢。而对固态磁盘来说，虽然它的随机性能比机械硬盘好很多，但同样存在“先擦除再写入”的限制...
2020-04-07 22:47:59
278
原创 11.IO性能-linux文件系统原理
1文件系统磁盘为系统提供了最基本的持久化存储。文件系统则在磁盘的基础上，提供了一个用来管理文件的树状结构。为了方便管理，Linux 文件系统为每个文件都分配两个数据结构，索引节点（index node）和目录项（directory entry）。它们主要用来记录文件的元信息和目录结构。索引节点，简称为 inode，用来记录文件的元数据，比如 inode 编号、文件大小、访问权限、修改日期、...
2020-04-07 22:38:20
255
1
原创 10.内存性能-分析套路
内存性能指标首先，你最容易想到的是系统内存使用情况，比如已用内存、剩余内存、共享内存、可用内存、缓存和缓冲区的用量等。已用内存和剩余内存很容易理解，就是已经使用和还未使用的内存。共享内存是通过 tmpfs 实现的，所以它的大小也就是 tmpfs 使用的内存大小。tmpfs 其实也是一种特殊的缓存。可用内存是新进程可以使用的最大内存，它包括剩余内存和可回收缓存。缓存包括两部分，一...
2020-04-06 23:12:51
182
原创 9.内存性能-swap详解
内存回收，也就是系统释放掉可以回收的内存，比如我前面讲过的缓存和缓冲区，就属于可回收内存。它们在内存管理中，通常被叫做文件页（File-backed Page）。大部分文件页，都可以直接回收，以后有需要时，再从磁盘重新读取就可以了。而那些被应用程序修改过，并且暂时还没写入磁盘的数据（也就是脏页），就得先写入磁盘，然后才能进行内存释放。这些脏页，一般可以通过两种方式写入磁盘。可以在应用程序...
2020-04-06 23:04:21
458
原创 8.内存性能-cache和buffer
内存性能中 Buffer 和 Cache 的详细含义。Buffer 既可以用作“将要写入磁盘数据的缓存”，也可以用作“从磁盘读取数据的缓存”。Cache 既可以用作“从文件读取数据的页缓存”，也可以用作“写文件的页缓存”Buffer 和 Cache 分别缓存磁盘和文件系统的读写数据。从写的角度来说，不仅可以优化磁盘和文件的写入，对应用程序也有好处，应用程序可以在数据真正落盘前，就返...
2020-04-06 22:50:49
155
原创 7.内存性能问题-linux内存原理
linux内存工作原理物理内存-虚拟内存-MMU之间的关系 进程内存用户空间-内核空间 内存分配与回收机制 内存查看相关指标虚拟内存空间分布首先，我们需要进一步了解虚拟内存空间的分布情况。最上方的内核空间不用多讲，下方的用户空间内存，其实又被分成了多个不同的段。以 32 位系统为例，我画了一张图来表示它们的关系。通过这张图你可以看到，用户空间内存，从低到高分别是五种不同的...
2020-04-06 22:45:12
124
原创 5-CPU性能-软中断问题分析
Linux 中的中断处理程序分为上半部和下半部：上半部对应硬件中断，用来快速处理中断。下半部对应软中断，用来异步处理上半部未完成的工作。Linux 中的软中断包括网络收发、定时、调度、RCU 锁等各种类型，可以通过查看 /proc/softirqs 来观察软中断的运行情况。网卡接收数据包的例子，让你更好地理解。网卡接收到数据包后，会通过硬件中断的方式，通知内核有新的数据到了。这时，内核就...
2020-04-06 17:03:33
570
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人