- 博客(54)
- 收藏
- 关注
RSS订阅原创 hadoop
hadoop简介Hadoop起源于Google的三大论文：GFS：Google的分布式文件系统Google File SystemMapReduce：Google的MapReduce开源分布式并行计算框架BigTable：一个大型的分布式数据库演变关系：GFS—->HDFSGoogle MapReduce—->Hadoop MapReduceBigTable—->HBasehadoop主流版本：Apache基金会hadoopCloudera版本（
2021-11-10 16:21:59
787
原创 持续集成与持续交付
git工具使用秘籍：Git - Bookhttps://git-scm.com/book/zh/v2安装git工具：安装完Git之后，要做的第一件事就是设置你的用户名和邮件地址；这一点很重要，因为每一个Git提交都会使用这些信息，它们会写入到你的每一次提交中，不可更改如果使用了--global选项，那么该命令只需要运行一次，因为之后无论你在该系统上做任何事情，Git都会使用那些信息；当你想针对特定项目使用不同的用户名称与邮件地址时，可以在那个项目目录下运行没有--global选项的命
2021-11-10 16:19:51
503
原创 MooseFS
MFS简介MooseFS是一个具有容错性的网络分布式文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本；对于访问的客户端或者用户来说，整个分布式网络文件系统集群看起来就像一个资源一样官网：https://moosefs.com/https://moosefs.com/常规特征对标准的文件操作来说，mfs用起来跟其它的类unix文件系统类似：1、分层次的结构（目录树）2、存储POSIX文件属性（权限、最后访问和修改时间）3、支持特殊文件（块和字符设备
2021-11-10 16:16:25
582
原创 kubernetes监控
kubernetets容器资源限制Kubernetes采用request和limit两种限制类型来对资源进行分配request(需求资源)：即运行Pod的节点必须满足运行Pod的最基本需求才能运行Podlimit(资源限额)：即运行Pod期间，可能内存使用量会增加，可以在yaml文件中设定最多能使用多少内存配置资源限额资源类型：CPU的单位是核心数，内存的单位是字节；一个容器申请0.5个CPU，就相当于申请1个CPU的一半，你也可以加个后缀m表示千分之一的概念；比如说100m的CPU
2021-11-10 16:11:28
638
原创 kubernetes存储
Configmap配置管理Configmap用于保存配置数据，以键值对形式存储；ConfigMap资源提供了向Pod注入配置数据的方法，旨在让镜像和配置文件解耦，以便实现镜像的可移植性和可复用性；典型的使用场景有：填充环境变量的值、设置容器内的命令行参数、填充卷的配置文件创建ConfigMap的方式有4种：使用字面值创建、使用文件创建、使用目录创建、编写configmap的yaml文件创建##使用字面值创建，键值对的方式##使用文件创建，文件名为key，文件内容为值##使
2021-11-10 15:45:34
1914
原创 kubernetes集群部署
Kubernetes简介在Docker作为高级容器引擎快速发展的同时，在Google内部，容器技术已经应用了很多年，Borg系统运行管理着成千上万的容器应用；Kubernetes项目来源于Borg，可以说是集结了Borg设计思想的精华，并且吸收了Borg系统中的经验和教训；Kubernetes对计算资源进行了更高层次的抽象，通过将容器进行细致的组合，将最终的应用服务交给用户Kubernetes的好处：隐藏资源管理和错误处理，用户仅需要关注应用的开发；服务高可用、高可靠；可将负载运行在由成千上万的机器
2021-11-10 15:01:19
2228
原创 docker
前言docker官网：Container Runtime with Docker Engine | Dockerhttps://www.docker.com/products/container-runtime?spm=a2c6h.13651104.0.0.6d9072ffL2HnED安装docker配置docker-ce软件仓库此时yum install -y docker-ce会报错提示需要安装相关依赖包配置所需依赖包的软件仓库安装完成并启用doc
2021-11-10 00:10:57
1814
原创 SaltStack自动化运维工具
Saltstack由master和minion构成，master是服务器端，表示一台服务器；minion是客户端，表示有多台服务器。在master上发送命令给符合条件的minion，minion就会执行相应的命令，master和minion之间是通过Zero(消息队列)进行通信的。SaltStack的master端监听4505和4506端口，4505为master和minion认证通信端口，4506为master用来发送命令或接收minion的命令执行返回信息。当客户端启动后，会主动连接master
2021-11-09 20:49:42
1488
原创 zabbix 续
zabbix监控java应用Zabbix通过JMX（Java Management Extensions）即Java管理扩展，可以对Java应用进行监控，其利用原生的Zabbix-Java-gateway，一个Java守护进程监控JMX应用；当Zabbix-Server需要知道java应用程序的某项性能的时候，会启动自身的一个Zabbix-JavaPollers进程去连接Zabbix-Java-Gateway请求数据，而Zabbix-Java-Gateway收到请求后JMX管理API去查询特定的应用程序
2021-11-09 19:48:18
258
原创 Zabbix
基本信息zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案；由zabbix server与可选组件zabbix agent两部分构成：zabbix server可以单独监视远程服务器的服务状态，通过SNMP、zabbix agent、ping、端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能；同时也可以与zabbix agent配合，可以轮询zabbix agent主动接收监视数据（agent方式），同时还可被动接收zabbix agent发送的
2021-09-25 11:44:30
154
原创 HAProxy+Pacemaker
基本信息HAProxy是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接，并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上HAProxy实现了一种事件驱动，单一进程模型，此模型支持非常大的并发连接数；多进程或多线程模型受内存限制、系
2021-09-25 11:37:46
467
原创 LVS+Keepalived
基本信息简介：LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统；本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一使用集群技术和Linux操作系统实现一个高性能、高可用的服务器；其具有：很好的可伸缩性（Scalability）、很好的可靠性（Reliability）、很好的可管理性（Manageability）特点：可伸缩网络服务的几种结构，它们都需要一个前端的负载调度器（或者多个进行主从备份）；我们先
2021-09-25 11:24:48
363
原创 Redis
什么是RedisRedis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API，是现在最受欢迎的NoSQL（Not Only SQL）非关系型数据库之一；其的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用；和Memcached类似，它支持存储的value类型相对更多，包括strings(字符
2021-09-25 11:12:48
108
原创 Nginx
一、Nginx的介绍二、Nginx的安装安装包下载地址：nginx.org安装包文件：nginx-1.20.1.tar.gz解压此压缩包：tar zxf nginx-1.20.0.tar.gzauto ##cc编译目录conf ##配置文件目录contrib ##提供语法检测字体html ##默认发布目录src ##...
2021-09-25 09:52:31
309
原创 虚拟机封装
封装虚拟机的意义：将虚拟机设置成类似于一个安装包的东西，使做出来的镜像文件可以快速地在其他主机上安装和使用；可以使用此镜像文件批量生成Linux系统封装步骤：
2021-09-09 11:16:39
433
原创 ansible中的角色使用
ansible roles1、ansible中的角色简介角色（roles）是ansible自1.2版本开始引入的新特性，用于层次性、结构化的组织playbook；roles能够根据层次型结构自动装载变量文件、tasks以及handlers等剧本元素；简单的说就是，roles通过分别将变量、文件、任务、模块及处理器放置于单独的目录中，并可以便捷地include它们的一种机制；角色一般用于基于主机构建服务的场景中，在企业复杂业务场景中应用的频率很高；也可以用于构建守护进程等场景中；roles以特定的层级
2021-09-09 11:08:53
1973
原创 shell的执行流控制
脚本的执行流即脚本中记录命令的执行顺序，其默认的执行流是从上到下依次执行一、for语句作用：为循环执行动作结构：for ##定义变量do ##使用变量，执行动作done ##结束标志基本格式：1、使用seq命令的执行结果为变量赋值，此命令可以在起始值和结束值之间设置步长for NUM in $(seq 1 2 8)do echo $NUMdon...
2021-09-09 10:58:33
200
原创 ansible中的任务执行控制
实验环境：一台主控机：172.25.254.100三台受控主机：172.25.254.10172.25.254.20172.25.254.30
2021-09-09 10:57:33
340
原创 ansible中的变量及加密
一、变量的命名变量名称中只能包含数字、下划线和字母，且只能用下划线或字母开头二、变量级别全局变量：在命令行或者配置文件中设定的变量主机变量：由清单、事实收集或注册任务时设定的变量play变量：在playbook中的play和相关结构中设定的变量变量的优先级：狭窄范围变量的优先级高于广域范围的优先级三、变量的设定和使用方式1、在playbook中定义变量2、在文件中定义变量./bianliang.yml ##表示当前路径文件==/h...
2021-09-09 10:45:02
310
原创 ansible中的playbook
一、playbook的介绍playbook是ansible用于配置、部署及管理被控主机的剧本；ansible主控机通过在剧本文件中陈列一系列to-do-list从而达到对被控主机的管控二、playbook的功能ansible主控机在执行一些简单的任务时，使用Ad-Hoc命令的方式进行操作是比较方便的，但当某一项操作过于繁杂、需要进行大量的操作时，简单的命令方式既不利于阅读也容易出错；这种情况下使用playbook剧本可使操作逻辑变得清晰，从而更简便地对被控主机进行管理；ansible
2021-09-09 10:19:13
212
原创 ansible常用模块
实验环境：ansible主控机：172.25.254.100ansible受控机：172.25.254.200一、ansible实现管理的方式Ad-Hoc ##playbook ##二、执行方式中如何获得帮助ansible-doc ##显示模块帮助的命令使用格式：ansible-doc [参数] [模块]常用参数：-l ##列...
2021-09-09 10:04:54
436
原创 ansible的安装及部署
一、ansible的介绍1、ansible概述ansible是一款类Unix系统开发的自由开源的配置和自动化工具，本质是一种插件；其由Python语言开发而来，类似于saltstack和Puppet；ansible只需要在一台普通的服务器上运行即可，不需要在客户端服务器上安装客户端，因为ansible是基于SSH进行远程管理，而Linux服务器大都离不开SSH，因此ansible不需要为配置工作添加额外的支持，从而很简单地实现一对多的工作模式2、ansible工作原理ansibl
2021-09-09 09:57:51
2185
原创 shell中的运算
一、运算符号+ ##加法- ##减法* ##乘法/ ##除法% ##余数** ##乘方++ ##自加一-- ##自减一< ##小于<= ##小于等于>...
2021-09-09 09:57:17
257
原创 shell脚本中的变量
一、变量的定义变量就是内存中某片区域的地址二、变量的意义命令无法操作一直变化的目标；通过用一串固定的字符来表示不固定的目标，这就是变量的意义三、shell脚本中变量的定义方法1、变量名称的定义规则变量名称中可包含的字符：字母、下划线、数字变量名称不能以数字开头2、环境级别的变量定义使用 export 命令来进行环境变量的定义；但此种定义方式在环境改变或者关闭后变量会失效3、用户级别的变量定义在用户家目录下的shell配置文件 ~/.bash.profile 中进行
2021-09-08 13:50:49
2409
原创 shell脚本的基础知识
一、什么是shellshell是shell脚本中命令的解释器二、shell脚本的意义1、记录命令执行的过程和执行逻辑，以便进行重复执行2、脚本可以批量处理任务3、脚本可以定时处理任务三、如何创建脚本shell中脚本文件一般以.sh或.script结尾；在此类文件中首行输入shell脚本幻数：#！/bin/bash后再添加相关的脚本命令即可生成脚本文件通过对vim配置文件内容修改可以实现在编写脚本文件时自动添加脚本首部四、如何执行脚本1、手动在环境中开启指定解释器具
2021-09-08 13:35:48
213
原创 shell中的文本处理工具
一、grep介绍：grep==Globally search a Regular Expression and Print即全局搜索正则表达式，其搜索模式为贪婪模式，类似于模糊搜索概念grep 支持基础的正则表达式egrep 支持基础以及扩展的正则表达式（==grep -E）使用格式：grep/egrep/grep -E‘匹配条件’‘处理对象’grep root passwd ##过滤显示含ro...
2021-09-08 13:07:13
342
原创 shell脚本中常用的基础命令
Shell（Shell Script）脚本又称Shell命令稿、程序化脚本，是一种计算机程序使用的文本文件，其内容由一连串的shell命令组成，经由Unix Shell直译内容后运作Shell被当成是一种脚本语言来设计，其运作方式与解释型语言相当；由Unix Shell扮演命令行解释器的角色，在读取shell脚本后，依序运行其中的shell命令，之后输出结果；利用shell脚本可以进行系统管理、文件操作的等一、diff命令用法：diff '参数' file1 file2常用参...
2021-09-08 12:59:35
2698
原创 Linux中的网络文件系统
网络文件系统是应用层的一种应用服务,它主要应用于Linux和Linux系统、Linux和Unix系统以及Linux和Windows系统之间的文件或目录的共享网络文件系统实现了存储分离，这一技术的本质时共享文件系统个的读写权限，而不是将文件系统下载到客户端主机以达到共享目的存储分离的意义在于：磁盘共享、存储共享、数据资源共享、容灾实现资源共享的服务主要有samba、nfs、iscsi等本章节的实验环境：虚拟机westosa==samba/nfs服务端；IP=172.25.254.100
2021-09-08 12:53:55
382
原创 DNS服务器部署
一、关于DNS1、什么是DNSDNS（Domain Name Service）域名解析服务，就是将域名和IP之间作相应的转换；TCP/IP中使用的是IP地址和端口号来确定网络上某一台主机上的某一个程序，IP地址是固定长度的，IPv4是32位，IPv6是128位，而域名是变化的，不便于计算机处理，而IP地址对于用户来说不方便记忆，但域名便于用户使用；总结一点就是IP地址是面向主机的，而域名则是面向用户域名到IP地址的解析过程：【1】当某一个应用需要把主机名解析为IP地址时，该应用进程就调用解析
2021-09-08 12:39:09
3103
原创 Apache
一、什么是apcheApache全称为Apache HTTP Server(音译为阿帕奇)是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。它快速、可靠并且可通过简单的API扩充，将Perl/Python等解释器编译到服务器中。我们在访问web服务器时通常使用的是http://方式，即超文本传输协议（Hyper Text Transfer Protocol），提供这一协议的服务软件主要有Apache、n
2021-09-08 12:29:31
2140
原创 Linux中的火墙服务及优化
一、火墙介绍网络防火墙是一种用来加强网络之间访问控制的特殊网络互联设备；计算机流入流出的所有网络通信均要经过此防火墙；防火墙对流经它的网络通信进行扫描，这样能够过滤掉一些攻击，以免其在目标计算机上被执行；防火墙可以关闭不使用的端口，而且它还能禁止特定端口的流出通信，封锁木马；最后，它可以禁止来自特殊站点的访问，从而防止来自不明入侵者的所有通信本质上防火墙是一组规则：当数据包进出受保护的网络区域时，进出内容（特别是关于其来源、目标和使用的协议等信息）会根据防火墙规则进行检测，以确定是否允许其通过
2021-09-08 11:54:57
193
原创 Mysql数据库
一数据库的介绍数据库是按照数据结构来组织、存储和管理数据的仓库；是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合；本质上是一个高级的表格常见的数据库管理系统软件有：Mysql、Oracle、ACCESS、mongodb、sqlite、SQLserver等数据库中的常用名词：字段 ##类似表格中的表头表 ##类似表格库 ##存放表格的目录查询 ...
2021-09-08 10:36:04
79
原创 Linux中的Vsftpd服务
一、什么是Vsftpd服务Vsftpd（very secure FTP daemon）是一个UNIIX类操作系统上运行的服务器的名称，它可以运行在诸如Linux、BSD、Solaries、HP-UX以及IRIX上面；是基于FTP开发的一套完全免费、开放源码的程序，也是一款在Linux发行版中最受推崇的FTP服务器程序，特点是小巧轻快、安全易用。二、什么是FTPFTP（File Transfer Protocol）是TCP/IP协议组中的协议之一，也是互联网中最老牌的文件传输协议；其包括两个部分：
2021-09-08 10:10:51
557
原创 Linux中的内核级加强型火墙SELinux
一、什么是SELinux安全增强型火墙SELinux（Security-Enhanced Linux）是Linux的一个内核模块，也是Linux的一个安全子系统二、SELinux的作用SELinux的主要作用就是最大限度地减小系统中服务进程可以访问的资源：在没有使用SELinux的操作系统中，决定一个资源是否能被访问的因素是这个资源是否拥有对应用户的读、写、执行的权限；而在使用了SELinux的操作系统中，决定一个资源是否能被访问的因素除了上述之外，还需要判断每一类进程是否拥有对某一类资源的
2021-08-08 12:55:17
146
原创 Linux系统的引导过程及引导修复
一、通电由于通电导致的系统障碍与系统本身无关二、bios初始化BIOS（Basic Input Output System）在IBM PC兼容系统上是一种业界标准的固件接口。bios是电脑启动时加载的第一个软件，它是一组固化在计算机主板上的一个ROM芯片上的程序，其保存着计算机最重要的基本输入输出的程序、开机后自检程序和系统自动启动程序，可以从CMSO中读写系统设置的具体信息；主要功能是为计算机提供最底层的、最直接的硬件设置和控制；是连接软件程序和硬件设备的“桥梁”，且其只有在开机时才可以进行设
2021-08-04 23:00:37
297
原创 Linux中的无人职守安装脚本kickstart
一、kickstart自动安装脚本我们在安装Linux操作系统过程中需要人工回答很多关于设定的问题，否则无法安装；随着安装数量增长，手动安装方式就会显得很低效；因此我们可以通过kickstart自动安装脚本来解决此问题。自动安装是指把安装系统过程中所有问题的答案记录在一个文件中，在安装系统时自动读取此文件里的内容以达到自动安装目的；这样的文件叫做kickstart自动安装脚本。二、kickstart脚本的使用1、使用前主机的配置及所需软件【1】配置网络软件仓库【2】安装httpd..
2021-08-02 14:26:24
183
原创 Linux中的高级存储管理
一、lvm逻辑卷当挂载的物理设备中数据被存满时，而物理磁盘设备的大小是固定的，磁盘分区的大小也是在分区时就决定了的；在这种情况下，可以利用LVM（Logical Volume Manager）逻辑卷来解决问题。物理卷PV（Physical Volume）指磁盘、磁盘分区或从逻辑上和磁盘分区具有同样功能的设备，是LVM的基本存储逻辑块，包含有和LVM相关的管理参数卷组VG（Volume Group）LVM卷组类似于非LVM系统中的物理硬盘，由物理卷PV组成；卷组中可以创建一个或多个逻辑
2021-08-01 23:18:25
111
原创 Linux中的基本存储管理
本单元测试实验前的环境准备：为虚拟机 westosa 添加第二块虚拟硬盘1、Linux中的设备识别在Linux操作系统中，任何物理存储设备接入系统后都是以文件的形式存在，且不同类别的设备接入系统后被识别的文件类型不同物理设备类型 设备文件名称 SATA | SAS | USB（串口硬盘） /dev/sda /dev/sdb [s=SATA d=DISK a/b=硬盘区分参数] IDE（老式并口硬盘） /dev/hd0 /dev/hd1 [h=hard...
2021-08-01 15:14:19
186
1
原创 linux中的定时任务及延时任务
1.延时任务（1）延时任务使用命令######图片at -l ##查看任务列表at -c “任务号” ##查看任务内容at -r “任务号” ##取消执行任务***当延时任务有输出时，输出会以邮件的方式发送给at任务的发起者用户。***查看邮件需要安装postfix（邮件发送服务）和mailx（邮件查看服务）。查看邮件：mail -u “用户名”###...
2021-07-30 22:47:54
148
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人