- 博客(199)
- 收藏
- 关注
原创 Linux企业实战(六十三)——Hadoop(五)
Hadoop+Zookeeper实验背景:在典型的 HA 集群中,通常有两台不同的机器充当 Namenode(在接下来简称为NN)。在任何时间,只有一台机器处于Active 状态;另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作;而 Standby NN 主要用于备用,它主要维持足够的状态,如果必要,可以提供快速的故障恢复。为了让 Standby NN 的状态和 Active NN 保持同步,即元数据保持一致,它们都将会JournalNodes 守护进程通
2021-01-21 00:05:48
329
1
原创 Linux企业实战(六十一)——Hadoop(三)
HDFS之完全分布式部署完全分布式的部署实验环境:主机角色server2namenodeserver3dadanodeserver4dadanodeserver5dadanode步骤一:首先关闭server2上之前的伪分布式步骤二:各节点安装nfs,并且在server2上进行设置注意:这里我们需要考虑如何让新加的结点,同步之前结点的数据?这里我们采用nfs来完成#在所有节点上安装nfsyum install -y nfs-utils
2021-01-10 21:23:49
215
原创 Linux企业实战(六十)——Hadoop(二)
单机版部署Hadoop实验环境:在server2上部署步骤一:创建普通用户,解压软件包,创建软链接,编辑hadoop环境变量文件步骤二:运行hadoop,进行测试[bdkl@server2 bin]$ ./hadoopUsage: hadoop [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS] or hadoop [OPTIONS] CLASSNAME [CLASSNAME OPTIONS] where CLASSNAME is a us
2021-01-10 00:56:03
331
原创 Linux企业实战(五十九)——Hadoop(一)
Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程
2021-01-05 23:24:38
199
原创 Linux企业实战(五十七)——分布式文件系统MFS(二)
恢复客户端删除的文件实验环境:本文的实验环境是在Linux企业实战(五十六)——分布式文件系统MFS(一)的基础上来进行的步骤一:删除在客户端server10中mfs目录中的文件步骤二:创建元数据目录并进行挂载mount #查看挂载信息步骤三:进入挂载元数据的目录中,进入其回收站,查找之前删除的文件步骤四:对数据进行恢复给chunkserver创建标签...
2020-12-29 01:03:20
190
原创 Linux企业实战(五十六)——分布式文件系统MFS(一)
一、MFS简介MooseFS是一款Linux下的开源存储系统,是OpenStack开源云计算项目的子项目之一,被称为对象存储,提供了强大的扩展性、高可靠性和持久性。它能够将文件分布存储于不同的物理机器上,对外却提供的是一个透明的接口的存储资源池。它还具有在线扩展、文件切块存储、节点无单点故障、读写效率高等特点。MFS分布式文件系统由元数据服务器(Master Server)、元数据日志服务器(Metalogger Server)、数据存储服务器(Chunk Server)、客户端(Client)
2020-12-24 00:30:37
518
原创 Linux企业实战(五十五)——ELK日志分析平台(五)
xpack简介在配置好es集群之后,可以选择开启安全认证功能。X-Pack 提供以下几个级别保护elastic集群用户验证;授权和基于角色的访问控制;节点/客户端认证和信道加密;审计。部署过程实验目的:为es集群开启 xpack安全认证,并在logstash和Kibana开启相应的用户认证。实验环境:主机角色server2es的master 节点server9es主机server10es主机server3logstash+kib
2020-12-23 17:15:55
141
原创 Linux企业实战(五十四)——ELK日志分析平台(四)
kibana 实现数据可视化kibana简介kibana,elasticsearch项目的产品之一。它是数据可视化工具,提供网页与人交互,将查询语句交给ES处理并将结果可视化。Kibana 核心产品搭载了一批经典功能:柱状图、线状图、饼图、旭日图,等等。也可以将地理数据融入任何地图精选的时序性 UI,对您Elasticsearch 中的数据执行高级时间序列分析。利用 Graph 功能分析数据间的关系Kibana 开发工具为开发人员提供了多种强大方法来帮助其与 Elastic Stac
2020-12-22 23:25:28
109
原创 Linux企业实战(五十三)——ELK日志分析平台(三)
logstash数据采集Logstash简介Logstash是一个开源的服务器端数据处理管道。Logstash拥有200多个插件,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的 “存储库” 中(大多都是 Elasticsearch)。Logstash管道有两个必需的元素,输入和输出,以及一个可选元素过滤器。输入:采集各种样式、大小和来源的数据Logstash 支持各种输入选择 ,同时从众多常用来源捕捉事件;能够以连续的流式传输方式,轻松地从您的日志、指标、
2020-12-22 01:26:43
212
原创 Linux企业实战(五十二)——ELK日志分析平台(二)
elasticsearch节点角色和节点优化elasticsearch节点角色Master:主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索,所以负载较轻。当Master节点失联或者挂掉的时候,ES集群会自动从其他Master节点选举出一个Leader。Data Node:主要负责集群中数据的索引和检索,一般压力比较大。Coordinating Node:原来的Client node的,主要功能是来分发请求和合并结果
2020-12-20 19:26:28
109
原创 Linux企业实战(五十一)——ELK日志分析平台(一)
ELK是什么ELK Stack 是Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公司名下,故有此简称。ELK Stack成为机器数据分析,或者说实时日志处理领域,开源界的第一选择。和传统的日志处理方案相比,ELK Stack 具有如下几个优点:处理方式灵活。Elasticsearch 是实时全文索引,不需要像 storm 那样预先编程才能使用;配置简易上手。Elasticse
2020-12-20 01:51:15
240
1
原创 Linux企业实战(五十)——持续集成与持续交付(七)
Jenkins+Ansible的使用实验环境主机角色server2gitlab仓库server10Jenkins主机和Ansible主机server9需要被远程控制的主机步骤一:在server10上安装好ansibleyum install -y ansible步骤二:在gitlab仓库中新建一个项目,并将其克隆至本地,进行配置cd playbook/vim playbook.yml #创建yml文件vim
2020-12-17 23:14:42
123
原创 Linux企业实战(四十九)——持续集成与持续交付(六)
Jenkins使用tls方式连接docker构建主机实验环境主机角色server1harbor仓库server2gitlab仓库server10Jenkins主机server9docker主机(新添加)说明:实验环境接着上一篇博客的实验环境继续我们在之前的实验中经docker主机和Jenkins主机部署在同一台虚拟机上,而现实的生产环境中一般不会这样进行部署,这样会增加Jenkins主机的负担。所以在这里我们新增一台docker主机步骤一:在d
2020-12-16 22:41:21
128
原创 Linux企业实战(四十八)——持续集成与持续交付(五)
使用 jenkins自动构建docker镜像,并上传至harbor仓库实验环境:主机角色server1harbor仓库server2gitlab仓库server10jenkins主机,docker主机说明:本次实验环境,是在上一篇博客的基础上来进行的Linux企业实战(四十七)——持续集成与持续交付(4)步骤一:在jenkins主机上安装docker插件步骤二:进入之前在jenkins上创建的项目test1,修改其配置注意:这里
2020-12-14 18:40:12
116
原创 Linux企业实战(四十七)——持续集成与持续交付(四)
CI/CD简介CI(Continuous integration,中文意思是持续集成)是一种软件开发时间。持续集成强调开发人员提交了新代码之后,立刻进行构建、(单元)测试。根据测试结果,我们可以确定新代码和原有代码能否正确地集成在一起。CD(Continuous Delivery, 中文意思持续交付)是在持续集成的基础上,将集成后的代码部署到更贴近真实运行环境(类生产环境)中。比如,我们完成单元测试后,可以把代码部署到连接数据库的Staging环境中更多的测试。如果代码没有问题,可以继续手动部署到生
2020-12-12 23:27:36
183
原创 Linux企业实战(四十五)——持续集成与持续交付(二)
git工具(一)(1)什么是gitgit是一个开源的分布式版本控制系统,可以有效、高速地处理从很小到非常大的项目版本管理。git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。(2)git的特点速度快、灵活;简单的设计;对非线性开发模式的强力支持(允许成千上万个并行开发的分支);完全分布式;有能力高效管理类似 Linux 内核一样的超大规模项目(速度和数据量)。(3)git和其他版本控制器的差异直接记录快照,而非差异比
2020-12-02 00:35:09
128
原创 Linux企业实战(四十五)——持续集成与持续交付(一)
什么是版本控制系统(1)概念版本控制是一种记录一个或若干文件内容变化,以便将来查阅特定版本修订情况的系统。你可以对任何类型的文件进行版本控制。版本控制(Revision control)是一种在开发的过程中用于管理我们对文件、目录或工程等内容的修改历史,方便查看更改历史记录,备份以便恢复以前的版本的软件工程技术。(2)版本控制的作用有了它你就可以将某个文件回溯到之前的状态,甚至将整个项目都回退到过去某个时间点的状态,你可以比较文件的变化细节,查出最后是谁修改了哪个地方,从而找出导致怪异问题出
2020-11-30 23:49:16
107
原创 Linux企业实战(四十四)——网络基础(2)
1、两种传输层的协议TCP/UDP(1)TCP协议TCP协议是一种面向有连接的、可靠的、基于字节流的传输层通信协议。这里所谓的面向连接接即一定是一对一才能连接,而不能是一个主机同时面向多个主机发消息,一对多是无法做到的;而所谓的可靠是指,无论在网络链路中出现了怎样的链路变化,TCP都可以保证一个报文一定能够到达接收端;字节流,因为消息是没有边界的,无论消息有多大都可以进行传输。并且消息是有序的,当前一个消息没有收到的时候,即使收到了后面的字节,即使这样也不会交给应用层来处理,同时对重复的报文
2020-11-16 22:11:39
97
原创 Linux企业实战(四十三)——网络基础(1)
一、网络基础知识1、OSI参考模型在这一模型中,每一个分层都接受由它下一层所提供的特定服务,并且负责为自己的上一层提供特定的服务。上下层之间进行交互时所遵循的约定叫做“接口”。同一层之间的交互所遵循的约定叫做“协议”。OSI参考模型各层的分工OSI七层各层的功能(1)应用层:应用层是OSI标准模型的最顶层,是直接为应用进程提供服务的。其作用是在实现多个系统应用进程相互通信的同时,完成一系列业务处理所需的服务。包括文件传输、电子邮件远程登录和远端接口调用等协议。(2)表示层:表示层向上对应用进
2020-11-13 15:29:22
83
原创 Linux企业实战之监控(十)——使用 Grafana 可规化工具美化Prometheus监控数据显示效果
使用 Grafana 可规化工具美化监控数据显示效果1、安装并配置Grafana步骤一:安装Grafanayum install -y ./grafana-5.4.3-1.x86_64.rpmgrafana-cli plugins install grafana-piechart-panelsystemctl restart grafana-server 步骤二:在浏览器中访问http://http://192.168.0.102:3000/login,配置数据源弹出上
2020-09-21 22:34:50
254
原创 Linux企业实战之监控(九)——Prometheus
Prometheus1、Prometheus 概述Prometheus(普罗米修斯)是一套开源的监控&报警&时间序列数据库的组合,起始是由SoundCloud 公司开发的。现在最常见的 Docker、Mesos、Kubernetes 容器管理系统中,通常会搭配Prometheus 迚行监控。Prometheus 基本原理是通过 HTTP 协议周期性抓取被监控组件的状态,这样做的好处是任意组件只要提供 HTTP 接口就可以接入监控系统,丌需要任何 SDK 戒者其他的集成过程。这样做非常
2020-09-20 23:54:46
240
1
原创 Linux企业实战(四十二)——Haproxy(4)
Haproxy实现负载均衡—读写分离1、在haproxy端写入读写分离策略vim /etc/haproxy/haproxy.cfg2、在后端服务器在server2和server3中进行配置在默认发布目录下放入index.php(选择图片的静态页面)和upload_file.php(上传图片的动态页面),存放上传图片的目录upload目录。cd /var/www/htmlmkdir uploadchmod 777 uploadcd /var/www/htmlvim index.ph
2020-09-18 01:04:58
74
1
原创 Linux企业实战(四十)——Haproxy(2)
Haproxy实现负载均衡—动静分离1、动态资源和静态资源静态资源:可以理解为前端的固定页面,这里面包含HTML、CSS、JS、图片等等,不需要查数据库也不需要程序处理,直接就能够显示的页面,如果想修改内容则必须修改页面,但是访问效率相当高。动态资源:需要程序处理或者从数据库中读数据,能够根据不同的条件在页面显示不同的数据,内容更新不需要修改页面但是访问速度不及静态页面。2、在Haproxy上实现动态资源和静态资源的分离步骤一:在haproxy端配置动静分离策略vim /etc/hapr
2020-09-15 22:36:12
128
1
原创 Linux企业实战(三十九)——Haproxy(1)
Haproxy实现反向代理及负载均衡1、Haproxy介绍Haproxy是一个特别适用于高可用性环境的TCP/HTTP开源的反向代理和负载均衡软件。在七层负载均衡方面的功能很强大(支持cookie track, header rewrite等等),支持双机热备,支持虚拟主机,支持健康检查,同时还提供直观的监控页面,可以清晰的监控服务集群的运行状况。2、Haproxy的配置HAproxy的配通过程分为三个主要部分:命令行参数,这是最优先的;global (全局)段,设置进程级参数;代理配置
2020-09-14 23:15:13
377
1
原创 Linux企业实战之监控(六)——Zabbix(6)
zabbix通过mail发送告警信息到运维人员的QQ邮箱以及结合第三方平台,将告警信息转发给运维人员当我们部署好zabbix监控,为监控主机添加各种监控项完毕之后,如果一个主机出了问题,我们怎么能在第一时间获得报警信息,然后及时处理?1、zabbix通过mail发送告警信息到运维人员的QQ邮箱可以让zabbix通过邮件的方式把告警信息发送给我们步骤一:配置zabbix-server服务器能够上网,安装邮件并测试能够成功发送yum install mailx -ynetstat -antlp
2020-09-12 18:58:30
283
原创 Linux企业实战之监控(五)——Zabbix(5)
1、监控http服务httpd是zabbix自带的监控模块步骤一:在server2中安装http在server2中安装http步骤二:在web界面依次点击配置、主机、server2、模版、添加、Template App HTTP service、更新步骤三:在web界面依次点击配置、模版、Template App HTTP service...
2020-09-12 01:46:28
455
原创 Linux企业实战之监控(三)——Zabbix(3)
zabbix监控配置自动发现1、自动发现规则自动发现规则主要针对企业批量添加主机,如果使用传统办法去单个添加设备、分组、项目、图像…这是一个任务量巨大的一个工程,由此引入自动发现规则。自动发现规则由服务端主动发起,Zabbix Server开启发现进程,定时扫描局域网中IP。服务器、设备,实现自动发现主机、自动将主机添加到主机组、自动加载模板、自动创建项目(item)、自动创建图像等功能。...
2020-09-09 20:18:56
238
原创 Linux企业实战之监控(一)——Zabbix(1)
1、什么是zabbix我们监控的初衷就是当某些指标不符合我们的需求时,我们能够在第一时间发现异常。所以,监控工具需要定期的对被监控主机进行检查、信息收集等操作,当被监控主机出现异常时,能够及时报警、通知管理员,并且需要记录这些异常,以便我们分析这些数据,查漏补缺。那么。一个监控工具就应该具备采集信息、存储信息、展示信息、报警通知等功能,而zabbix就可以做到这些。除了zabbix,你可能还听说过cacti、nagios、 ganglia等类似的监控系统,但是此处,我们只聊zabbix。2、zabbix
2020-09-07 20:04:15
269
原创 Linux企业实战之自动化运维工具(二十二)——Ansible(16)
playbook(ansible-过滤器)1、过滤器是什么过滤器是一种能够帮助我们处理数据的工具,其实ansible中的过滤器功能来自于jinja2模板引擎,我们可以借助jinja2的过滤器功能在ansible中对数据进行各种处理,而上例中的upper就是一种过滤器, 这个过滤器的作用就是将小写字母变成大写。当我们想要通过过滤器处理数据时,只需要将数据通过管道符传递给对应的过滤器即可。当然,过滤器不只有upper,还有很多其他的过滤器,这些过滤器有些是jinja2内置的,有些是ansible特有的
2020-09-04 00:37:13
102
原创 Linux企业实战之自动化运维工具(二十)——Ansible(14)
playbook(判断)when关键字绝大多数语言中,都使用if作为条件判断的关键字,而在ansible中,条件判断的关键字是when,我们可以使用when关键字为任务指定条件,条件成立,则执行任务,条件不成立,则不执行任务。只输出大于1的数字在ansible中,我们可以使用如下比较运算符== :比较两个对象是否相等,相等为真!= :比较两个对象是否不等,不等为真> : 比较两个值的大小,如果左边的值大于右边的值,则为真< :比较两个值的大小,如果左边的值小于右边
2020-08-30 23:00:50
235
原创 Linux企业实战之自动化运维工具(十九)——Ansible(13)
playbook(循环)我们在编写playbook的时候,不可避免的要执行一些重复性操作,比如指安装软件包,批量创建用户,操作某个目录下的所有文件等。正如我们所说,ansible一门简单的自动化语言,所以流程控制、循环语句这些编程语言的基本元素它同样都具备。首先编辑一下我们的ansible清单文件with_items如果我们不想从返回的信息列表中循化,而想要循环自己定义的列表,可以使用以下方式也可以这样写---- hosts: testB remote_user:
2020-08-26 20:45:36
173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人