- 博客(72)
- 收藏
- 关注
RSS订阅原创 大数据的存储和分析——hadoop
文章目录一、hadoop的简介二、hadoop的单机构建1.环境准备2.服务配置三、hadoop的集群构建1.三台机器构成一个集群一、hadoop的简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed Fi...
2019-08-22 21:10:32
2472
原创 mfsmaster的高可用
文章目录一、环境准备1.配置高可用yum源2.安装高可用的服务软件二、高可用的配置1.备master的准备2.开始搭建集群一、环境准备1.配置高可用yum源这个实验是在我上一个实验的基础上进行的，server1为master，server2和server3为chunk为了实现高可用我们再开启一个server4当作备用master先给server1和server4配置高可用的yum源rh...
2019-08-22 21:09:55
393
原创 mfs分布式文件系统的简单构建
文章目录一、mfs的简介1.什么是分布式文件系统2.mfs的结构3.环境部署二、mfs的部署1.master的设置2.chunk的设置3.client的配置一、mfs的简介1.什么是分布式文件系统分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一...
2019-08-19 23:23:29
420
原创 gitlab的搭建和jenkins组件配合的CI/CD
文章目录一、gitlab本地私有仓库的搭建1.gitlab的简介2.搭建仓库3.在浏览器访问测试：4.从浏览器上克隆一个仓库二、配置jenkins插件来实现客户端修改自动上传1.环境搭建2.在浏览器访问安装插件3.定时触发的设置4.实时触发的设置：一、gitlab本地私有仓库的搭建1.gitlab的简介GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭...
2019-08-19 20:29:59
1309
原创 分布式版本控制系统——git
文章目录一、git的简介1.git的功能特性二、git的常用命令使用1.git的安装2.本地版本库的搭建一、git的简介Git是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理。 Git最初 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。1.git的功能特性集中式版本控制系统最大的毛病就是必须联网才能工...
2019-08-19 20:29:30
304
原创 非关系型型数据库redis(nosql表示不仅仅是sql)
文章目录一、redis的简介二、redis的使用1.redis的安装和主从复制的部署2.redis的高可用3.redis的持久化4.redis的单机版集群搭建一、redis的简介redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和h...
2019-08-15 23:43:24
373
原创 saltstack的一些模块的使用
文章目录一、stal的mysql简单用法二、salt自带的高可用模块三、salt-ssh模块(不需要安装minion端)四、salt的api模块一、stal的mysql简单用法yum install MySQL-python.x86_64 -y ##安装python管理数据库的服务yum install mariadb-server.x86_64 -y ##安装mairiadb当作...
2019-08-15 23:43:00
248
原创 自动化运维工具saltstack的简单运用
文章目录一、salt简介二、salt的运用1.环境准备：2.给客户端推送一个apache服务3.给客户端推送一个源码编译安装的nginx示例3.静态变量的设定方法4.动态变量的设定5.keepalived的高可用部署一、salt简介Salt，,一种全新的基础设施管理方式，部署轻松，在几分钟内可运行起来，扩展性好，很容易管理上万台服务器，速度够快，服务器之间秒级通讯。salt底层采用动态的连接...
2019-08-15 23:42:18
221
原创 ansible的plybook的编写示例
文章目录一、apache的安装二、调用变量来查看操作主机的一些参数信息三、haproxy实现httpd的负载均衡四、把playbook拆分成roles，以haproxy负载均衡为例五、批量创建用户六、分区模块的书写playbook的编写要严格按照python的缩进格式，如果有哪些模块用法忘了的话，直接ansible-doc yum(相应的模块即可)，在帮助文档的最后都有模板，本文只是举几个不同方...
2019-08-12 19:15:46
471
原创 Kubernetes(k8s)集群部署和服务配置
一、k8s的简介1.什么是k8sKubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着（比如用户想让apache一直运行，用户不...
2019-08-12 15:02:22
1179
原创 docker三剑客(machine、compose和swarm集群管理和图形化管理)
一、swarm集群的简介Swarm是Docker公司在2014年12月初新发布的容器管理工具。和Swarm一起发布的Docker管理工具还有Machine以及Compose。Swarm是一套较为简单的工具，用以管理Docker集群，使得Docker集群暴露给用户时相当于一个虚拟的整体。Swarm使用标准的Docker API接口作为其前端访问入口，换言之，各种形式的Docker Client(...
2019-08-12 14:56:48
1544
原创 docker的安全配置
文章目录一、理解Docer安全1.Docker容器的安全性,很大程度上依赖于Linux系统自身,评估Docker的安全性时,主要考虑以下几个方面:2.命名空间隔离的安全3.控制组资源控制的安全4.内核能力机制5.Docker服务端防护6.其他安全特性二、容器资源控制1.cpu限额一、理解Docer安全1.Docker容器的安全性,很大程度上依赖于Linux系统自身,评估Docker的安全性时,...
2019-08-12 10:24:15
1223
原创 docker的网络和数据卷管理
文章目录一、docker网络1.docker原生网络(1)bridge网络(2)host网络(3)none网络模式2.docker自定义网络3.docker容器通信4.跨主机容器网络(1)macvlan网络方案的实现(2)macvlan会独占主机网卡，但可以使用vlan子接口实现多macvlan网络二、Docker数据卷管理1.bind mount2.docker managed volume3....
2019-08-05 21:28:35
254
原创 docker仓库的认证和加密以及企业级Harbor仓库的搭建
文章目录一、私有仓库的认证和加密1.生成自签名的证书和密钥2.创建登陆认证的用户名和密码3.加密和认证仓库的建立4.本地登陆测试和在另一台主机上登陆测试二、给认证和加密的仓库一个图形ui三、harbor企业机仓库的搭建1.环境准备2.浏览器登陆测试一、私有仓库的认证和加密安装包都可以在相应的官网或者github上下载，还可以在联网情况下直接docker search 查找然后直接拉取下载获得...
2019-08-05 15:17:41
239
原创 docker容器和镜像的封装及优化，以及私有仓库的搭建
文章目录一、docker的简介1.镜像2.容器3.仓库二、docker的安装2.启动docker并查看软件信息三、容器的建立和使用四、镜像的制作1.在原镜像的基础上再修改添加成一层新的镜像2.Dockerfile来制作简单的镜像3.Dockerfile的参数简介4.用Dockerfile封装一个能使用的nginx镜像五、镜像的优化1.减少镜像层数2.最优之多阶段构建六、私有仓库的搭建(只能本地使用...
2019-08-05 15:16:36
560
原创 zabbix的运用（通过睿象云来报警、模块的导入和proxy代理）
文章目录一、使用自带的mysql模板来添加监控项1.手动添加已有的mysql模板2.编写一个配置文件，重启agent3.查看图形是否出现（需要等待一会）二、自己手动导入一个模板来添加监控项1.首先下载一个pecrona软件包并安装2.配置文件的修改3.将模板文件导入并添加到主机上三、java环境的监控1.安装tomcat和jdk环境2.zabbix-server上java网关的设置3.在图形页面给...
2019-08-02 17:43:19
452
原创 zabbix监控的基础配置（主机创建方法和监控项的添加）
一、zabbix的简介1.什么是zabbixzabbix（[`zæbiks]）是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成，zabbix server与可选组件zabbix agent。zabbix serv...
2019-08-02 14:15:06
1565
原创 通过mysql-proxy配置的读写分离和mysql的高可用
一、读写分离的简介1.读写分离的原理读写分离，基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。一般来说都是通过 主从复制（Master-Slave）的方式来同步数据，再通过读写分离（MySQL-Proxy）来提升数据库的并发负载能力 这样的方案来进行部署...
2019-07-30 16:29:57
618
原创 mysql的主从复制，gtid复制、半同步复制和组复制
文章目录一、数据库的简介1.数据库的简介2.数据库的分类二、数据库的复制1.复制的种类一、数据库的简介1.数据库的简介数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。2.数据库的分类如今互联网公司最常用的是关系型...
2019-07-30 11:41:04
495
原创 haproxy的实用功能配置
一、haproxy的简介HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。HAProxy实现了一种事件驱动, 单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 ...
2019-07-29 15:34:27
203
原创 lnmp服务的主要功能实现（memcache缓存、session共享和会话保持）
文章目录一、memcache的使用1.memcache的简介2.软件的安装3.软件的配置：4.图表方式查看缓存的配置5.通过访问默认发布文件来测试缓存是否提升了访问速度二、openrestry的使用1.软件的简介和安装2.配置文件的修改三、tomcat的安装和使用1.tomcat的简介和安装2.配置文件的修改三、session共享和会话保持1.再配置一台虚拟机来交叉存储,启用server22.配置...
2019-07-26 19:11:29
510
原创 lnmp的编译安装和简单搭建
一、lnmp的简介1.lnmp的构成LNMP是指一组通常一起使用来运行动态网站或者服务器的自由软件名称首字母缩写。L指Linux，N指Nginx，M一般指MySQL，也可以指MariaDB，P一般指PHP，也可以指Perl或Python。本次的实验环境为rhel6.5，属于企业6版本。二、php的编译安装和配置1.软件的安装软件可以在官方网站上下载，本机使用的是版本是php-5.6.35...
2019-07-26 19:11:00
272
原创 nginx的实用工作配置（重定向和防盗链、缓存功能和图表功能）
一、nginx的网络重定向1.把http访问重定向到https（在上一篇文章的https基础上来完成）(1)1次重定向vim /usr/local/nginx/conf/nginx.conf ##修改配置文件systemctl reload nginx ##重新加载服务2.多次重定向；vim /usr/local/nginx/conf/nginx.conf ##修改配...
2019-07-24 20:12:00
270
原创 nginx的高级网络配置(realip的获取，image模块和https模块)
一、获取被反向代理访问的客户端真实ip1.环境准备server1：nginx真实web服务器server2：nginx反向代理服务器这句话的含义是：当nginx当作真实web服务器时，客户端访问的是反向代理服务器server2，反向代理服务器再访问web服务器，那么web服务器上应该就只能获取到反向代理服务器server2的地址，现在要在日志的连接请求中看到客户端的真实ipvim /...
2019-07-24 20:11:28
751
原创 nginx的安装和入门级简单配置
一、nginx的安装1.nginx的安装包可以在官网nginx.org上直接下载本机使用的是最新版nginx-1.17.1.tar.gz，安装在rhel7.5的版本，主机名server1，ip为172.25.21.1tar zxf nginx-1.17.1.tar.gz ##解压nginx安装包cd nginx-1.17.1 ##进入解压后的目录，可以看到源码编译安...
2019-07-24 20:07:33
176
原创 RHCS(企业6上的高可用集群搭建和图形化管理)
一、rhel6.5的封装和快照的创建##由于具体的封装步骤与rhel7.5版本的步骤一致，所以重复的内容不再赘述，只简单说明不同的操作(1)配置ip，网关，DNS，主机名和本地解析(2)关闭iptables,ip6tables,selinux，并关闭开机自启动(3)搭建yum源，安装vim,lftp，openssh等常用软件(4)删除不适用的规则，删除root用户家目录下的文件(5)重...
2019-07-22 18:27:40
214
原创 LVS的常用模式配置方法以及 ldirectord和keepalived调度器管理
一、LVS的简单介绍1.后面会经常提到的一些名词解释：vs：virtual serverrs：real server，后面真实的服务器director：调度器balancer：负载均衡器客户端向调度器发送请求时：客户端的ip=cip(client ip)接收客户端请求的ip=vip(virtual server ip)真实服务器的ip=rip(real server ip)2....
2019-07-22 18:27:11
298
原创 cdn内容分发网络(虚拟机的封装+varnish的使用)
一、cdn的简介1.什么是cdnCDN的全称是Content Delivery Network，即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。2.cdn的工作原理CDN的基本原理是广泛采用...
2019-07-19 16:18:35
444
原创 Python——异常和paramiko的简单远程连接操作
一、异常1.异常的捕获和返回"""try: 尝试执行的代码except: 出现错误的处理"""try: num = int(input('请输入一个数字: '))except: print('请输入正确的整数')"""举个简单的例子题目要求： 1.提示用户输入一个整数 2.使用8来除以用户输入的数try: 尝试执行的...
2019-07-17 16:45:06
3116
原创 Python——面向对象的三个基本特征和几种运行方法
一、面向对象1.简单介绍"""面向过程：怎么做面向对象：谁来做1.确定职责 -- 要做的事(方法)2.对象内部封装不同方法(多个)3.不同对象调用不同方法类 对象类：模板，对象都是根据这个模板创建出来的类只需要有一个，对象可以有多个类：属性(信息)和方法(你能干什么)1.类名2.属性3.方法例如：zz今年18岁，身高1.85，每天早上要跑步，跑完会去吃东西yy...
2019-07-17 14:34:49
1416
原创 Python——difflib文件比较、时间模块、sys模块和第三方模块
一、时间模块1.时间的显示import times = '2019-7-14'print(time.strptime(s,'%Y-%m-%d')) ##返回的时元组格式时间s_time = '09:00:00'print(time.strptime(s_time,'%H:%M:%S')) ##返回的是元组格式时间且为unix时间2.时间显示的格式转化import tim...
2019-07-15 21:48:23
210
原创 Python——多个装饰器、文件的操作以及os模块
一、装饰器1.functools.wraps ( ) 装饰器的使用(1).functools.wraps的特点：a.对一个函数添加多个装饰器时，被装饰函数不受装饰器的影响b.装饰器的名字变成被装饰名字，外部调用到的是被装饰函数的功能"""例子：求函数的运行时间和函数的返回值"""import timeimport functools ##调用 functools.wraps(...
2019-07-15 19:59:05
419
原创 Python——高阶函数、字符串的补充和装饰器的简单用法
一、高阶参数1.实参是一个函数名，函数的返回值是一个函数。def fun(a,b): return a+ba = fun(1,2)print(a)print(abs(-11)) ##内置的取绝对值的函数2.函数本身也可以赋值给变量，变量也可以指向函数f = absprint(f(-10))3.传递的参数包括函数名def fun(x,y,f): ...
2019-07-12 21:06:31
159
原创 Python——列表生成式和字典生成式
一、列表生成式1.普通的遍历循环写法s = '51 5000 10000'li = []for item in s.split(): li.append(int(item))print(li)k,a,b = liprint(k,a,b)#[1**1 2**2 .. 9**9] 求1到9的乘方li = []for i in range(1,10):...
2019-07-12 19:39:59
702
原创 Python——字典的相关特性及函数的简单用法
一、字典：1.字典的定义#字典是一个无序的数据集合#通常输出的顺序和定义的顺序不一致s = {} ##空字典print(type(s))users = ['user1','user2']passwd = ['123','456']print(zip(users,passwd)) ##输出元组格式print(list(zip(users,passwd))) ...
2019-07-04 16:10:05
178
原创 Python——列表、元组和集合的相关特性及用法
一、列表：1.创建列表#列表里：可以储存不同的数据类型li = [1,1.5,'hello',True]print(li)print(type(li))#列表里也可以嵌套列表（列表也是一种数据类型）yy = [1,1.5,'hello',True,[1,2,3,4,5]]print(yy)print(type(yy))2.列表的特性service = ['http',...
2019-07-04 14:27:17
461
原创 Python——for、while循环语句和字符串的相关用法
1.for循环语句：for循环语法：for 变量 in range(x): 循环需要执行的代码range(stop): 0 ~ stop-1range(start,stop): start ~ stop-1range(start,stop,step): start ~ stop-1 step(步长)# print(range(1,10,2))#1~100之间的所有偶数...
2019-06-27 13:44:26
561
原创 Python——所用编程软件Pycharm的介绍、变量的相关知识和if语句
一、python的优点：Python是一种计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。而且Python在设计上坚持了清晰划一的风格，这使得Python成为一门易读、易维护，并且被大量用户所欢迎的、用途广泛的语言。二、python的安装1.在linux平台上pytho...
2019-06-27 13:43:27
434
原创 shell脚本的一些简单实例(倒计时等)
一、编写一个倒计时脚本，例如输入1:10这样的时间后，继续以分：秒的形式倒数，当没有输入或时间格式不对时报错。#!/bin/bashMIN=`echo $1 | awk -F : '{print $1}'`SEC=`echo $1 | awk -F : '{print $2}'`if [ -z "$1" ]then echo "Error : Please input a...
2019-06-13 12:32:43
1499
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人