自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(35)
  • 资源 (1)
  • 收藏
  • 关注

原创 (知识点)chkconfig命令详解

chkconfig命令主要用来更新(启动或停止)和查询系统服务的运行级别信息谨记chkconfig不是立即自动禁止或激活一个服务,它只是简单的改变了符号连接。使用语法:添加系统服务:chkconfig [--add] [系统服务]删除系统服务:chkconfig [--del] [系统服务]显示系统服务:chkconfig [--list] [系统服务]参数用法:--add  增加所指定的系统服务,让chkconfig指令得以管理它,并同时在系统启动的叙述文件内增加相关数据。--d.

2020-11-24 10:50:04 564

原创 (知识点)域名解析记录类型

什么是域名解析域名解析就是域名到IP地址的转换过程。IP地址是网路上标识您站点的数字地址,为了简单好记,采用域名来代替IP地址标识站点地址。域名的解析工作由DNS服务器完成。记录类型的作用A记录:是最普通常见的域名解析,将域名指向一个IPv4地址。将www主机指向IP为192.168.0.1,当访问您带www主机是就会解析到192.168.0.1这个IP上。CNAME记录:将域名指向另一个域名。将空主机解析到别名www.iptahe.cn,访问该空主机的域名就会访问别名所解析到的IP。URL转发:

2020-11-24 10:46:18 742

原创 (实操)服务器静态IP地址配置

更改ip地址的配置文件路径:/etc/sysconfig/network-scripts/网卡名称1)其中需要更改BOOTPROTO里面的参数dhcp(自动获取ip),更改为:static2)IPADDR=ip3)NETMASK=子网掩码4)GATEWAY=网关ip配置完成后需要重启网卡:systemctl restart network.service注意:如果配置完网卡信息,需要测试虚拟机能够连接外网ping 114.114.114.114ping www.baidu.com

2020-11-24 10:44:29 2330

原创 (知识点)TCP/IP协议(网络七层协议)

OSI参考模型实际上,分组通信协议很复杂,OSI参考模型将其分为了易于理解的七个分层,如下图:OSI参考模型中每个分层的作用下图表述了简单的每个分层的作用:1. 应用层为应用程序提供服务并规定应用程序中通信相关的细节;包括的协议如下:1:超文本传输协议HTTP:这是一种最基本的客户机/服务器的访问协议;浏览器向服务器发送请求,而服务器回应相应的网页2:文件传送协议FTP:提供交互式的访问,基于客户服务器模式,面向连接 使用TCP可靠的运输服务 主要功能:减少/消除不同操作系统下文

2020-11-24 10:41:59 3254

原创 (知识点)TCP三次握手与四次挥手解析

TCP是主机对主机层的传输控制协议,提供可靠的连接服务,采用三次握手确认建立一个连接,与之相反的,采用四次挥手来断开连接:TCP标志位有6种标示,即:SYN(建立联机) 、 ACK(确认) 、 PSH(传送) 、 FIN(f结束) 、 RST(重置) 、 URG(紧急) 、 Sequence number(顺序号码) 、 Acknowledge number(确认号码)三次握手为了准确无误的将数据发送到指定IP处,TCP协议采用了三次握手的策略,如下步骤所示:1、客户端采用TCP协议将带有SYN标志

2020-11-24 10:35:12 139

原创 (实操)linux开机启动的三种方式

1. 编辑启动文件启动文件路径:etc/rc.localvim /etc/rc.local#!/bin/sh## This script will be executed *after* all the other init scripts.# You can put your own initialization stuff in here if you don't# want to do the full Sys V style init stuff.touch /var/lock/s

2020-11-24 10:30:52 584

原创 (实操)linux定时任务—crontab

crontab命令使用参数解析:-e:编辑定时任务-l:查看定时任务-r:删除定时任务-u:指定其他用户crontab的配置文件vim /etc/crontabSHELL=/bin/bashPATH=/sbin:/bin:/usr/sbin:/usr/binMAILTO=root# For details see man 4 crontabs# Example of job definition:# .---------------- minute (0 - 59)

2020-11-24 10:27:55 103

原创 (实操)linux服务器时间同步方法

方法一:(推荐)设置NTP自动同步时间yum install -y ntpsystemctl start ntpd.service #ntpd服务启动systemctl enable ntpd.service #启动开机自启其他机器同步ntp服务器的时间[root@lb01 ~]# hostname -I172.16.1.5 [root@lb01 ~]# yum install ntpdate -y[root@lb01 ~]# date -s '20081024'[root@lb01

2020-11-24 10:20:59 1204 1

原创 (实操)linux修改网卡名样式

如果不习惯使用新的命名规则,可以恢复使用传统的方式命名,编辑 grub 文件,增加两个变量,再使用 grub2-mkconfig 重新生成 grub 配置文件即可。1. 编辑 grub 配置文件vim /etc/sysconfig/grub # 其实是/etc/default/grub的软连接# 为GRUB_CMDLINE_LINUX变量增加2个参数,具体内容如下(加粗):GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=cl/root rd.lvm.

2020-11-24 10:08:53 184

原创 (实操)Linux开机自动挂载

在给系统新增了磁盘以后,如果重启系统我们会发现找不到存储了;但是使用fdisk -l可以看到存储空间,说明存储还在。这是因为关机后,挂载已经自动卸载掉了。我们当然可以手动再次将其挂载,但如果每次重启都需要这样手动操作会很不方便;因此我们可以利用自动挂载,这样系统每次开机的时候就可以自动将磁盘挂载上去了。其中有两种方法:修改/etc/fstab文件修改/etc/rc.d/rc.local文件方法一:vim /etc/fstab #编辑配置文件/dev/mapper/centos-root /

2020-11-24 10:00:40 3059 1

原创 (实操)linux挂载新添加的磁盘

1. 新增硬盘我这里是在虚拟机进行的操作,直接在该虚拟机添加一块硬盘即可。在生产上的话需要购买一块硬盘,然后进行安装。2. 对虚拟磁盘进行挂载检查新增的硬盘[root@node05 /]# fdisk -l磁盘 /dev/sdb:107.4 GB, 107374182400 字节,209715200 个扇区 #未挂载区域Units = 扇区 of 1 * 512 = 512 bytes扇区大小(逻辑/物理):512 字节 / 512 字节I/O 大小(最小/最佳):512 字节 / 51

2020-11-23 15:55:35 208

原创 (九)elasticsearch集群的安全认证模式

2019年5月21日,Elastic官方发布消息: Elastic Stack 新版本6.8.0 和7.1.0的核心安全功能现免费提供。这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色,并且使用 Spaces 为 Kibana提供全面保护。 免费提供的核心安全功能如下:1)TLS 功能。 可对通信进行加密;2)文件和原生 Realm。 可用于创建和管理用户;3)基于角色的访问控制。 可用于控制用户对集群 API 和索引的访问权限;通过针对 Kiban

2020-11-22 14:24:07 881 1

原创 (八)Filebeat收集日志方法

Filebeat收集日志input:日志输入,支持log(常用)、stdin、redisoutput:日志输出,支持elasticsearch、redis、logstash、kafka1. log(从日志文件中收取日志)示例:filebeat.inputs:- type: log paths: - /var/log/system.log - /var/log/wifi.log- type: log paths: - "/var/log/apache2/*".

2020-11-22 13:57:38 2216

原创 (七)Filebeat安装配置

Filebeat是Beat成员之一,基于Go语言,无任何依赖,并且比logstash更加轻量,非常适合安装在生产机器上,不会带来过高的资源占用,轻量意味着简单,所以Filebeat并没有集成和logstash一样的正则处理功能,而是将收集的日志原样上报。Filebeat架构图Filebeat主要构成由prospector 和 harvesters这两类组件一起协同完成Filebeat的工作,从指定文件中把数据读取出来,然后发送事件数据到配置的output中Harvesters:负责进行单个文件的内

2020-11-22 13:54:02 369

原创 (六)Logstash日志收集注意事项

有三个注意事项:保证收集的日志有查看权限[root@node04 conf.d]# ll /var/log/nginx/access.log-rw-r----- 1 root root 73148 Nov 15 13:17 /var/log/nginx/access.log[root@node04 conf.d]# chmod 644 /var/log/nginx/access.log[root@node04 conf.d]# ll /var/log/nginx/access.log-rw-

2020-11-22 13:50:15 253

原创 (四)Logstash收集、解析日志方法

官网地址:https://www.elastic.co/guide/en/logstash-versioned-plugins/current/index.htmlLogstash的基础架构类型为pipeline流水线,如下图所示:INPUT:数据采集(常用插件:stdin、file、kafka、beat.http)FILTER:数据解析/转换(常用插件:Grok正则捕获、Date时间处理、Json编解码、Mutate数据修改等)OUTPUT:数据输出(常用插件:Elasticsearch)C.

2020-11-22 13:13:33 1946

原创 (三)如何通过命令管理ELK索引

查看集群状态[root@node06 logstash]# curl -i -XGET http://ip:9200/_cat/nodes?prettyHTTP/1.1 200 OKcontent-type: text/plain; charset=UTF-8content-length: 108192.168.159.134 22 81 0 0.00 0.03 0.05 mdi * es-node1192.168.159.130 16 96 1 0.04 0.20 0.14 mdi - .

2020-11-22 12:41:37 155

原创 (二)集群部署ELK

集群架构部署图1. 服务器配置信息服务服务器ip启动端口ES01、logstash192.168.159.1309200、9300、9600logstash01192.168.159.1319600kibana+logstash192.168.159.1329600、5601redis+logstash02192.168.159.1339600、6379ES02(master)192.168.159.1349200、93002.

2020-11-22 12:34:21 186

原创 (一)单集群部署ELK

官网下载地址:https://www.elastic.co/downloads/logstash官网文档地址:https://www.elastic.co/guide/en/logstash/current/index.html中文文档地址:http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html1. ELK的组成部分ELK的组成部分由:elasticsearch、logstash、kibana、filebeat组成elasti.

2020-11-22 12:16:48 316

原创 (十一)nginx访问日志修改为json格式

工作中很多地方会用到这个,所以还是要可以修改nginx的日志格式。比如:使用ELK进行日志收集等。修改nginx配置文件自定义日志格式,收集的内容是可以根据自己定义的,nginx中也有也多内置的变量,这里就不做过多展示。需要的小伙伴可以查看该连接http { include /etc/nginx/mime.types; default_type application/octet-stream; log_format access_json '{"@tim.

2020-11-22 11:43:01 267

原创 (十)nginx调度算法

算法详解轮询(默认)每个请求按时间顺序逐一分配到不同的后端服务,如果后端某台服务器死机,自动剔除故障系统,使用户访问不受影响轮询权重值weight的值越大分配到的权限概率越高,主要用于后端每台服务器性能不均匀情况,或者仅仅为在主从的情况下设置不同的权重值,达到合理利用主机资源源地址哈希ip_hash 每个请求按访问IP的哈希结果分配,使来自同一个IP的访客固定访问一台后端服务器,并且可以有效解决动态网页存在session共享问题fair比weight、ip_ha...

2020-11-21 18:42:58 329

原创 (九)反向代理高级应用

nginx可以基于ngx_http_upstream_module模块提供服务器分组转发,权重分配,状态监测,调度算法等高级功能。如果要使用upstream模块就要在安装nginx的时候开启该参数。1. http upstream参数upstream webserver { #hash $request_uri consistent; #ip_hash; #least_conn; server 192.168.7.103:80 weight=1 fail_ti.

2020-11-21 18:39:26 93

原创 (八)nginx反向代理功能

nginx反向代理概念反向代理也称reverse proxy,指的就是代理外网用户请求到内部指定web服务器,并将数据返回给用户的一种方式。nginx除了可以在企业提供高性能的web服务之外,另外还可以将本身不具备的请求通过某种预定的协议转发至其他服务器处理,不同的协议就是nginx服务器与其他服务器进行通信的一种规范,主要在不同场景使用以下模块实现不同的功能。ngx_http_proxy_module: 将客户端的请求以http协议转发至指定服务器进行处理。 ngx_stream_proxy_

2020-11-21 18:35:06 2201

原创 (七)rewrite指令的四种方式

Rewrite指令通过正则表达式的匹配来改变URI,可以同时存在一个或多个指令,按照顺序依次对uri进行匹配rewrite:主要是针对用户请求的url或者uri做具体处理。1.URL与URI的概念URL:统一资源定位符,是用于在internet中描述资源的字符串,是URI的子集,主要包括传世协议,主机(IP、端口号、域名)和资源具体地址(目录和文件)等三部分,一个URL路径,必须带访问协议。每个URL都是一个URI,但是URI不都是URL。URI:统一资源标识符,标识一个资源的路径,可以不带协议。

2020-11-21 18:27:04 1438

原创 (六)nginx详解rewrite功能

Nginx服务器利用ngx_http_rewrite_module 模块解析和处理rewrite请求。rewrite是nginx服务器的重要功能之一,用于实现URL的重写,URL的重写是非常有用的功能。使用rewrite模块–with-http_rewrite_module1.if指令用于条件判断,并根据条件判断结果选择不同的nginx配置,可以配置在server或location块中进行配置,nginx的if语句仅能使用if做单次判断,不支持使用if else或者if elif这样的多重判断变量

2020-11-21 18:20:31 435

原创 (四)nginx高级配置

1.nginx状态页基于nginx模块ngx_http_auth_module实现,需要编译安装nginx的时候添加编译参数–with-http_stub_status_modle,否则提示语法错误。在实际工作中也会开启该状态页查看nginx当前的状态,后期也可根据脚本获取这几个的状态值,根据zabbix等监控工具进行展示。location /nginx_status { stub_status on; #该参数需要开启 allow 192.168.142.0/24; allow 1

2020-11-21 17:57:17 209

原创 (三)详细nginx_location讲解配置

工作中会存在配置多个location模块的情况,如果都配置在nginx.conf配置文件中不是特别容易管理,这种情况下就需要单独来定义一个模块的location,可以在nginx.conf配置中指定它的子配置文件,以及location模块中常用的参数,如何配置呢就来说给大家。1.配置虚拟主机文件include模块:位于http模块里面http { include mime.types; default_type application/octet-stream; .

2020-11-21 17:42:42 1363 1

原创 (二)详解nginx配置文件

Nginx的配置文件组成部分:主配置文件:nginx.conf子配置文件:include conf.d/*.conf注意:指令必须以分号结尾支持使用配置变量内建变量:由nginx模块引入,可直接引用自定义变量:由用户使用set命令定义 set variable_name value引用变量:$variable_name下面就来讲解nginx配置文件。nginx核心配置详解1.全局配置user nginx nginx; #启动Nginx工作进程的用户和组 worker_pr

2020-11-21 17:19:44 178

原创 (一)nginx服务详情介绍

nginx高性能的web服务器nginx可以作为http服务器,也可以作为反向代理服务器或者邮件服务器,能够快速响应静态网页的请求,支持FastCGI/SSL/URL/Rwrite/Gzip/http basic或者tcp的负载均衡(1.9版本以上开启stream模块可以使用)等功能,支持第三方扩展1.nginx的基本访问流程nginx使用多进程模型来对外提供服务,一个master进程和多个worker进程,master进程负责管理nginx的启动/关闭命令和其他worker进程。所有实际上的业务处理

2020-11-21 17:11:44 204

原创 mysqld --initialize;报错:--initialize specified but the data directory has files in it. Aborting

Mysql安装初始化报错前言:自己安装mysql服务时候执行初始化命令死活不能运行,发现这个报错。在这里分享给大家。mysqld --initialize;报错:–initialize specified but the data directory has files in it. Aborting原因就是初始化指定的目录中有自带的文件。解决办法:查看/etc/my.cnf里面的...

2020-03-22 16:35:55 4465 2

原创 centos7安装mysql5.7初始化报错问题解决

问题缘由:自己在阿里云服务器上安装mysql5.7版本数据库,rpm包安装成功,执行初始化时报错。报错内容如下:[root@aliyun mysql]# mysqld --initializemysqld: error while loading shared libraries: libaio.so.1: cannot open shared object file: No such fi...

2020-03-16 18:09:17 829

原创 centos7安装mysql数据库时libs与mariadb冲突问题解决

安装mysql数据库时,需要rpm安装libs,问题原因就是安装libs时系统存在mariadb的系统包查看系统中的mariadb rpm -qa | grep mariadbrpm -e mariadb-libs-5.5.44-2.el7.centos.x86_64得到错误提示如下:提示有第三方库存在error: Failed dependencies:libmysqlcl...

2020-03-15 12:43:37 4598

原创 scrapy框架中保存数据的三种格式

在scrapy框架中保存数据是在pipeline.py中保存 切记需要注意在settings里面设置pipleines的权重值TEM_PIPELINES = { 'tieba.pipelines.TiebaPipeline': 300,}1.保存数据为文本格式# 获取当前工作目录class JsonPipeline(object): def process_item...

2018-08-19 19:18:27 3470 1

原创 dumps,loads与dump,load的区别

可以把dumps和loads对比来看json.dumps() 是将python的dict数据类型转换为json字符串json.loads() 是将json字符串转换为dict的数据类型dict = {"name":"xiaoam","age":18}print(type(dict))<class 'dict'>json_data = json.dumps(dic...

2018-08-19 19:10:08 1387

原创 scrapy框架拼接url的两种方式

常见的两种拼接方式这两种方式是基于使用scrapy框架时第一种:发送get请求时,在url中携带的参数from urllib.parse import urlencodeimport scrapyclass TbSpider(scrapy.Spider): name = 'tb' allowed_domains = ['tieba.baidu.com'] ...

2018-08-19 11:43:17 9008 1

logstash收集、解析日志方法脑图

自己根据elastic官网整理的关于logstash的一些使用方法。包含:INPUT、FILTER、OUTPUT、Codec等详细的方法。供大家参考!!

2020-11-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除