2020年09月_Summer-skq

原创 ELK大数据日志分析平台--（1）elasticsearch介绍及部署

一、elasticsearch简介简介Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：一个分布式的实时文档存储，每个字段可以被索引与搜索一个分布式实时分析搜索引擎能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据基础模块基础模块cluster：管理集群状态，维护集群层面的配置信息。 alloc

2020-09-30 11:15:59 280

原创内连接，外连接，左连接，右连接的区别（通俗易懂）

基本定义：　　left join （左连接）：返回包括左表中的所有记录和右表中连接字段相等的记录。　　right join （右连接）：返回包括右表中的所有记录和左表中连接字段相等的记录。　　inner join （等值连接或者叫内连接）：只返回两个表中连接字段相等的行。　　full join （全外连接）：返回左右表中所有的记录和左右表中连接字段相等的记录。举个例子：　A表　　　　　　　　　　　　id　 name　　　　1　　小王...

2020-09-23 16:43:33 1310

原创持续集成/持续交付（CI/CD）

目录全面了解持续集成/持续交付概览“持续”是什么意思？什么是“持续交付管道”？持续交付管道是如何工作的？“快速失败”是什么意思？所有持续交付管道都应该被自动化吗？什么是“持续集成”？持续集成是如何工作的？持续集成如何监测变更？什么是“预检查”（又称“上线前检查”）？什么是“单元测试”？什么是“持续测试”？除了测试之外，还可以对管道中的代码进行哪些其它类型的验证？什么是“持续交付”？如何在管道中识别/跟踪多个版本？如何“分销”工件？如何存

2020-09-23 16:02:43 911

原创互联网中高可用架构详解（互联网架构中出现单点的情况）

目录一、什么是高可用二、如何保障系统的高可用三、常见的互联网分层架构四、分层高可用架构实践五、总结一、什么是高可用高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。很多公司的高可用目标是4个9，也就是99.99%，这就意味着，系统的年.

2020-09-22 21:26:43 597

原创 SRE一面面经分享（9.17）

1.自我介绍2.yum和源码安装的区别(yum的工作原理怎么安装的安装的一个大体思路)3.liunx的一些基础命令（尽可能的把自己知道的说出来可以参考我的博客 https://blog.csdn.net/weixin_43215948/article/details/108187557）4.tcp里面涉及的一些内核参数5.火墙这块问了一些有关基础的iptables firewall的命令6.keepalive 长连接这块问的多 tcp和http 的keepalive区别底层的原

2020-09-22 20:34:13 568

原创 SRE二面面经分享（9.18）

面试官人很好。面试时间1小时。1.自我介绍2.docker和k8s里面的网络3.tcp中的mss4.问的项目里面的东西5.问了你对sre的理解看过sre后你的理解是什么。6.硬链接是怎么实现跨系统的7.linux中删除一个文件是什么原理用到的是哪个权限。8.linux中的正则和通配的区别9.find命令支持通配还是正则。10.有没有实习11.学习运维的具体过程说一下12.学习过程中遇到的困难反问环节：网易互娱中运维的工作职责是什么面试官人很好说.

2020-09-22 20:33:45 1269

原创运维面试总结（二）

一面ping端口（ping是基于icmp为什么会有端口，到现在还没想明白，也可能是我听错了）怎么判断应用起起来给一个新虚拟机你会做什么？让部署一个应用，你需要做什么？没有硬件防火墙怎么限制网络速率？linux你做过吗？stp协议什么是路由什么是vlan和子网访问一个服务？不通可能是哪些原因？linux查看已安装软件docker了解多少目录下有许多子目录和文件，只修改文件权限容器和虚拟化区别k8s了解多少？k8s用来干什么的？部署大量服务器，用过哪些工具？ansible原理是什么

2020-09-22 20:33:14 250

原创几种常见Mysql数据库高可用方案

1.概述我们在考虑MySQL数据库的高可用的架构时，主要要考虑如下几方面：如果数据库发生了宕机或者意外中断等故障，能尽快恢复数据库的可用性，尽可能的减少停机时间，保证业务不会因为数据库的故障而中断。用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一致。当业务发生数据库切换时，切换前后的数据库内容应当一致，不会因为数据缺失或者数据不一致而影响业务。关于对高可用的分级在这里我们不做详细的讨论，这里只讨论常用高可用方案的优缺点以及高可用方案的选型。2.高可用方案

2020-09-21 15:22:47 1725

原创 Linux系统中的正则和通配的区别详解

1.通配符通配符在Linux系统中通常是用于查找匹配文件名的，一般配合find命令来使用。除去常用的通配符外，一些特殊符号往往也被称为通配符，本文将分别介绍。一般用来匹配文件名的。匹配文件名常用的通配符： *：代表任意字符 ?：代表任意单个字符 [ ]：匹配指定范围内的任意单个字符其他通配符： ;：两个命令之间的分隔符 #：在配置文件里，注释效果 |：管道 $：变量前需要加的符号 /：路径分隔符，也是根 >或1&g

2020-09-18 17:30:51 421

原创 k8s---（1）Kubernetes介绍及部署(v1.19.1)

一、认识Kubernetes – k8sKubernetes是什么？Kubernetes是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。Kubernetes的名字来自希腊语，意思是“舵手” 或 “领航员”。K8s是将8个字母“ubernete”替换为“8”的缩写。通过Kubernetes你可以：快速部署应用快速扩展应用无缝对接新的应用功能节省资源，优化硬件资源的使用Kubernetes的目标是促进完善组件和工具的生态系统，以减轻应

2020-09-13 17:42:35 1606 1

原创 ansible 自动化构建系统负载均衡高可用架构项目流程详解

1.ansible roles简介Ansible roles是为了层次化、结构化地组织Playbookroles就是通过分别将变量、文件、任务、模块及处理器放置于单独的目录中，并可以便捷地include它们roles一般用于基于主机构建服务的场景中，在企业复杂业务场景中应用的频率很高以特定的层级目录结构进行组织的tasks、variables、handlers、templates、files等相当于函数的调用把各个功能切割成片段来执行2.roles目录结构role_name 定义的rol

2020-09-11 22:28:41 256 1

原创用户反映你开发的网站访问太慢，你该怎么考虑？该从哪些方面去解决这个问题

问题场景：作为运维人员，当某个用户向你反映说你开发的网站访问速度很慢时，但是该用户访问其他网站很正常，分析下原因、有哪些工具分析原因、怎么解决问题？一、针对这个题目我们可以简单理解成是server端出现的问题，而不是client端出现了问题（用户网络不好包括域名服务器解析等可能），当然面试官要考你用户端的知识，例如域名解析，也是有挺多可以考到的知识点，但单就这个问题，更强调的是server端的知识点。下面逐一来剖析可能的原因：（1）可能的原因一：服务器出口带宽不够用。这是一个很常见的瓶颈。一方面，可

2020-09-11 11:42:15 1036

原创 Docker---（13）Docker三剑客中的Docker Swarm

一、什么是Docker Swarm　　Swarm是Docker公司推出的用来管理docker集群的平台，几乎全部用GO语言来完成的开发的，代码开源在https://github.com/docker/swarm，它是将一群Docker宿主机变成一个单一的虚拟主机，Swarm使用标准的Docker API接口作为其前端的访问入口，换言之，各种形式的DockerClient(compose,docker-py等)均可以直接与Swarm通信，甚至Docker本身都可以很容易的与Swarm集成，这大大方

2020-09-11 11:16:15 255

原创 Docker-（12）Docker三剑客中的Docker Compose

一、什么是Docker ComposeCompose 项目是Docker官方的开源项目，负责实现Docker容器集群的快速编排，开源代码在https://github.com/docker/compose上我们知道使用Dockerfile模板文件可以让用户很方便的定义一个单独的应用容器，其实在工作中，经常会碰到需要多个容器相互配合来完成的某项任务情况，例如工作中的web服务容器本身，往往会在后端加上数据库容器，甚至会有负责均衡器，比如LNMP服务Compose 就是来做这个事情的，它允许用户通.

2020-09-11 11:12:13 166 2

原创 Docker-（11）Docker三剑客中的Docker Machine

一、什么是Docker MachineDocker Machine 是Docker官方编排项目之一，使用go语言编写的，使用不同引擎在多种平台上快速的安装Docker环境，开源地址:https://github.com/docker/machine。Docker Machine 是一个工具，它允许你在虚拟宿主机上安装Docker，并使用docker-machine命令管理这个宿主机，可以使用Docker Machine在本地的MAC或者windows box、公司网络，数据中心或者AWS这样的云

2020-09-11 11:09:52 418

原创 Docker - (10)docker中的容器资源控制和安全加固

一、背景在使用 docker 运行容器时，默认的情况下，docker没有对容器进行硬件资源的限制，当一台主机上运行几百个容器，这些容器虽然互相隔离，但是底层却使用着相同的 CPU、内存和磁盘资源。如果不对容器使用的资源进行限制，那么容器之间会互相影响，小的来说会导致容器资源使用不公平；大的来说，可能会导致主机和集群资源耗尽，服务完全不可用。docker 作为容器的管理者，自然提供了控制容器资源的功能。正如使用内核的 namespace 来做容器之间的隔离，docker 也是通过内核的 cgroups

2020-09-11 11:06:43 341

原创 Docker-（9） docker 安全

理解docker的安全1.Docker容器的安全性,很大程度上依赖于Linux系统自身,评估Docker的安全性时,主要考虑以下几个方面:Linux内核的命名空间机制（namespace）提供的容器隔离安全 Linux控制组机制对容器资源的控制能力安全（cgroup）。 Linux内核的能力机制所带来的操作权限安全 Docker程序(特别是服务端)本身的抗攻击性。其他安全增强机制对容器安全性的影响。2.命名空间隔离的安全当docker run启动一个容器时,Docker将在后台为容器

2020-09-11 11:03:07 131

原创简历上的内容总结（1）

一.nginx调优https://blog.csdn.net/q87374/article/details/79448826隐藏版本号和服务器类型；设置nginx运行用户；修改运行进程个数；限制最大打开文件数；事件处理模型（epoll）；开启高效传输设置链接超时时间。二.Linux 操作系统与基础操作命令https://blog.csdn.net/weixin_43215948/article/details/108307119三.部署并维护DNS、DHCP、NFS、FTP 等网络基

2020-09-09 12:01:19 563 2

原创 Docker-(8)docker数据卷

一、docker数据卷bind mount 模式其中 -v选项指定的路径，如果不存在，挂载时会自动创建，也可指定多个挂载。bind mount 示例：[root@server1 ~]# docker run -d --name vm1 -v /opt/website:/usr/share/nginx/html nginx92684dd0d2e25d8f0f458783e5ca6324f5d775e80df441faca0387eb84f8a59c[root@server1 ~]#

2020-09-07 22:31:20 163

原创企业运维中的监控系统？怎么做好监控？

一、监控目标每个人由于所在的行业、公司、业务、岗位不同，对监控的理解也不尽相同，但是我们需要注意，监控是需要站在公司的业务角度去考虑，而不是针对某个监控技术的使用。对系统不间断的实时监控：实际上是对系统不间断的实时监控(这就是监控)；实时反馈系统当前状态：我们监控某个硬件、或者某个系统，都是需要能实时看到当前系统的状态，是正常、异常、或者故障。保证服务可靠性安全性：我们监控的目的就是要保证系统、服务、业务正常运行保证业务持续稳定运行：如果我们的监控做得很完善，即使出现故障，能第一时间

2020-09-07 11:28:22 1548 2

原创 Docker-(7)docker网络

一、docker网络概述Docker作为目前最火的轻量级容器技术，有很多功能，如Docker的镜像管理，不足的地方比如网络方面。Docker自身的4种网络工作方式，和一些自定义网络模式安装Docker时，它会自动创建三个网络，bridge（创建容器默认连接到此网络）、 none 、host，可以使用以下命令查看：[root@server1 ~]# docker network lsNETWORK ID NAME DRIVER

2020-09-06 18:00:14 517

原创 Docker-(6)docker中harbor的安装与部署

一、HarborHarbor是构建企业级私有docker镜像的仓库的开源解决方案，它是Docker Registry的更高级封装，它除了提供友好的Web UI界面，角色和用户权限管理，用户操作审计等功能外，它还整合了K8s的插件(Add-ons)仓库，即Helm通过chart方式下载，管理，安装K8s插件，而chartmuseum可以提供存储chart数据的仓库【注:helm就相当于k8s的yum】。另外它还整合了两个开源的安全组件，一个是Notary，另一个是Clair，Notary类似于私有CA中心

2020-09-06 17:22:35 815

weixin_43215948的博客