- 博客(131)
- 收藏
- 关注
RSS订阅转载 ELK 分布式日志实战-6.4.0
一. ELK 分布式日志实战介绍 此实战方案以 Elk 5.5.2 版本为准，分布式日志将以下图分布进行安装部署以及配置。 当Elk需监控应用日志时，需在应用部署所在的服务器中，安装Filebeat日志采集工具，日志采集工具通过配置，采集本地日志文件，将日志消息传输到Kafka集群，我们可部署日志中间服务器，安装Logstash日志采集工具，Logstash直接消...
2019-09-19 14:09:00
204
转载 ZABBIX-微信报警
Zabbix可以通过多种方式把告警信息发送到指定人，常用的有邮件，短信报警方式，但是越来越多的企业开始使用zabbix结合微信作为主要的告警方式，这样可以及时有效的把告警信息推送到接收人，方便告警的及时处理。1、注册企业微信注册地址:https://work.weixin.qq.com2、配置企业微信2.1 创建部门2.2 添加成员...
2019-06-18 16:52:00
221
转载 zabbix 内置变量
文章参考：zabbix邮件报警变量表：http://blog.csdn.net/apache0554/article/details/45843695zabbix邮件报警设置方法：http://www.jb51.net/article/56973.htmzabbix配置发送报警邮件：http://www.cnblogs.com/xkops...
2019-06-12 13:57:00
655
转载 /proc 目录下文件详解
/proc 目录下文件详解一、xxx1、内存/proc/buddyinfo 伙伴系统的信息 /proc/pagetypeinfo 伙伴系统进一步细分信息/proc/zoneinfo 内存区域使用情况/proc/slabinfo /proc/meminfo 当前内存信息/p...
2019-05-28 11:34:00
753
转载 etc 目录下文件详解
etc 目录下文件详解一、基础配置1、主机名/etc/centos-release Centos系统版本信息/etc/machine-id 本地计算机ID配置文件2、时间/etc/localtime 本地时间配置/etc/adjtime 更正同步系统时钟...
2019-05-28 11:33:00
2522
转载 八 任务计划管理
任务计划管理作用: 计划任务主要是做一些周期性的任务，目前最主要的用途是定期备份数据一、cron基础 # ps aux |grep cron |grep -v 'grep' root 3078 0.0 0.0 5632 1108 ? Ss 08:44 0:00 crond # chkconfig crond ...
2019-05-28 11:32:00
225
转载 七 软件管理
软件包管理一、安装/查询/卸载源码包tarball 没有编译二进制包 已编译 系统平台 包类型 工具 在线安装（自动解决依赖关系） RedHat/Centos/Fedora RPM rpm,rpmbuild yum Ubun...
2019-05-28 11:30:00
123
转载 六 进程管理
进程管理一、进程的概念程序： 文件，一般是二进制，静态 /usr/sbin/httpd，/usr/sbin/sshd进程： 是程序运行的过程， 动态，有生命周期的，动态产生和消亡的一个程序可能对应多个进程# ps aux |grep 'sshd'root 2705 0.0 0.0 7224 1020 ? Ss 08:48 0...
2019-05-28 11:30:00
332
转载 五 文件和目录管理
一、Linux的文件Linux系统中文件或目录的属性主要包括：文件或目录的索引节点(inode)、类型、权限属性、链接数、所归属的用户和用户组、最近修改时间等内容：执行 ls -lhi命令的结果：total 4.0K24563 drwxr-xr-x 2 root root 4.0K Jun 28 21:30 123 646...
2019-05-28 11:29:00
164
转载 四linux 软链接和硬链接
一、链接的概念：在Linux系统中，链接分为两种：一种被称为硬链接（Hard Link）,另一种被称为软链接或符号链接（Symbolic Link）。在默认不带参数的情况下，执行ln命令创建的是硬链接二、硬链接：是指通过索引节点来进行链接。在linux的文件系统中，保存在磁盘分区中的文件不管是什么类型都会给他分配一个编号，这个编号被称为索引节点号（Inode Index）...
2019-05-28 11:28:00
123
转载 用户和组
一、用户类型1、Linux 的单用户多任务一个用户登入，执行多个任务。比如你使用电脑，聊着QQ，听着音乐。2、Linux 的多用户多任务apache用户提供web服务root用户操作系统，互不影响3、Linux 系统用户角色划分用户在系统中是分角色的，在Linux系统中，由于角色不同，权限和所完成的任务也不同。值得注意的是用户的角色是通过UID和GID...
2019-05-28 11:27:00
105
转载 一、目录结构的特点
linux 文件系统如下有两个特点：逻辑上，所有的目录都在最高级别的根目录 “/”下。所有的目录内容按照类别组织。二、目录结构1、Linux目录结构： 根目录结构 查看： ls -la / 或者 tree -L 1 / # -L1 表示显示 "/ "下目录的层次，1表示一层 /bin 二进制命令目录/boot ...
2019-05-28 11:26:00
843
转载 文件类型和文件扩展名
一、Linux中文件类型在Linux系统中，可以说一切设备（包括目录，普通文件）皆为文件。文件类型包含有普通文件，目录，字符设备文件，块设备文件，符号链接文件等等查看 ls -al2-10字符描述 ugo权限第一个字符表示文件属性： d：表示目录 -：表示普通文件 l:表示是一个符号链接文件 b,c：分别表示区块设备和其他的外围...
2019-05-28 11:26:00
1133
转载 博客目录
博客园首页目录结构一 Python全栈python基础Python简介Python数据类型Python文件操作python函数初始函数Python内置函数Python三大器 迭代器，装饰器，生成器python常用模块Python常用模块和正则表达式初识面向对象初识面向对象面向对象进阶网络编...
2019-05-28 11:17:00
97
转载 Python 基本数据类型
Python 基本数据类型一. 数字 (int)基本介绍python 的数字类型基本分为 整数,长整数, 浮点数.整数: 类如 1, 11, 22, 36...长整数: 就是比较长的整数,本身还是整数,哈哈~ 类如 154864131, 548798466111131313...浮点数: 简单理解为带小数点的数, 类如 3.14, 0.78, 99.00000...
2019-05-28 09:33:00
123
转载 高并发场景 LVS 安装及keepalived的应用
1.1负载均衡介绍1.1.1负载均衡的妙用负载均衡（Load Balance）集群提供了一种廉价、有效、透明的方法，来扩展网络设备和服务器的负载、带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。ü单台计算机无法承受大规模的并发访问或数据流量了，此时需要搭建负载均衡集群把流量分摊到多台节点设备上分别处理，即减少用户等待响应的时间又提升了用户体验；ü...
2019-05-15 16:58:00
296
转载 使用nginx作为http/https正向代理
默认nginx是不支持https的正向代理的，要想通过nginx的正向代理，作为https服务器，需要增加一个模块并重新编译nginx。环境：centos 7所需要的文件：https://github.com/chobits/ngx_http_proxy_connect_modulehttp://nginx.org/packages/centos/...
2019-05-14 11:15:00
389
转载 linux 日常高逼格命令统计
在运维的坑里摸爬滚打好几年了，我还记得我刚开始的时候，我只会使用一些简单的命令，写脚本的时候，也是要多简单有多简单，所以有时候写出来的脚本又长又臭，像一些高级点的命令，比如说 Xargs 命令、管道命令、自动应答命令等，如果当初我要是知道，那我也可能写出简洁高效的脚本。不管出于任何原因，我都想对一些 Linux 使用的高级命令进行用法说明，利人利己，以后不记得的话，我也可以回头翻来看...
2019-03-21 15:38:00
104
转载 python 获取目录视频时长，大小
#!/usr/bin/python# -*- coding:utf-8 -*-import osimport sysimport reimport xlwtimport csvfrom moviepy.editor import *#from moviepy.editor import VideoFileClipfile_dir = "...
2019-03-14 13:59:00
446
转载 记一次 irqbalance: WARNING, didn't collect load info for all cpus, balancing is broken问题
前提 cenots6系列，日志出现了didn't collect load info for all cpus, balancing is broken问题，然后发现irqbalance在Linux上一般作为service，在多核处理器系统上分配硬件中断，以提升性能。基本原理清除上一次的统计数据。通过/proc/interrupts分析中断的情...
2019-03-08 10:27:00
382
转载 loging模块
单文件日志1234567891011121314importlogginglogging.basicConfig(filename='log.log',format='%(asctime)s ...
2019-02-27 10:18:00
127
转载 修改CentOS7系列网卡名称为传统名称eth0格式
文章起因，很多网友使用CentOS7以前系统的小伙伴装完CentOS7.6最新版以后发现了一个问题，那就是网卡名改变为了“ens33”，而不是以前的eth0的简易模式了，如图：这是为什么呢？开发者吃饱撑的么？当然不是。以往的CentOS7以前的系统网卡命名虽然简单方便，但也会带来一些问题，例如，当eth0接口对应的网卡出问题以后，更换掉新网卡后新网卡的名字就可能不是et...
2019-02-26 21:27:00
139
转载 ELK测试
ELK 日志分析系统 ELK 日志分析系统 1.0 ELK 介绍 1.1 ELK 安装准备工作 1.2 es 安装 1.3 es配置 1.4 es测试 1.5 Kibana安装 1....
2019-02-17 10:59:00
295
转载 linux安装python3-pip3-django的过程
安装 python3 pip3 和django==1.11.18rpm -qa |grep openssl 确保已经安装 如果没有 yum install openssl 下载python 包 Python-3.7.0.tar.xztar Jxvf Python-3.7.0.tar.xz./configure make make install 如果遇见报错 找...
2019-01-22 10:07:00
141
转载 17.基于scrapy-redis两种形式的分布式爬虫
redis分布式部署1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机...
2019-01-07 15:37:00
58
转载 16.Python网络爬虫之Scrapy框架（CrawlSpider）
引入提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。今日概要CrawlSpider简介CrawlSpider使用基于CrawlSpide...
2019-01-07 15:36:00
111
转载 14.UA池和代理池
今日概要scrapy下载中间件UA池代理池今日详情一.下载中间件先祭出框架图：下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。- 作用：（1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent，设置代理等（2）在下载器完...
2019-01-07 15:35:00
92
转载 15.scrapy中selenium的应用
引入在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器...
2019-01-07 15:35:00
51
转载 13.scrapy框架的日志等级和请求传参
今日概要日志等级请求传参如何提高scrapy的爬取效率今日详情一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ： 一般错误 WARNING : 警告 ...
2019-01-07 15:34:00
457
转载 12.scrapy框架之递归解析和post请求
今日概要递归爬取解析多页页面数据scrapy核心组件工作流程scrapy的post请求发送今日详情1.递归爬取解析多页页面数据- 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储- 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。...
2019-01-07 15:33:00
87
转载 11.scrapy框架持久化存储
今日概要基于终端指令的持久化存储基于管道的持久化存储今日详情1.基于终端指令的持久化存储保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件中进行存储 scrapy crawl ...
2019-01-07 15:32:00
71
转载 10.scrapy框架简介和基础应用
今日概要scrapy框架介绍环境安装基础使用今日详情一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。...
2019-01-07 15:32:00
86
转载 09.移动端数据爬取
前言 随着移动市场的火热，各大平台都陆陆续续的推出了自己的移动端APP来拉拢吸引和便捷其广大的用户。那么在移动端的平台当时势必会出现大量有价值的信息和数据，那这些数据我们是否可以去享用一下呢？那么接下来就进入我们的移动端APP数据的爬虫中来吧。今日概要fiddler简介手机APP抓包设置fiddler设置安装证书下载安全证书安装...
2019-01-07 15:31:00
50
转载 08.Python网络爬虫之图片懒加载技术、selenium和PhantomJS
引入今日概要图片懒加载seleniumphantomJs谷歌无头浏览器知识点回顾验证码处理流程今日详情动态数据加载处理一.图片懒加载什么是图片懒加载？案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据#!/usr/bin/env python# -*- coding...
2019-01-07 15:30:00
216
转载 07.验证码处理
引入相关的门户网站在进行登录的时候，如果用户连续登录的次数超过3次或者5次的时候，就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。今日概要使用云打码平台识别验证码知识点回顾session的创建方式session的作用proxies参数的作用高匿，透明代理的区别今日内容云打码平台处理验证码的实现流程：...
2019-01-07 15:29:00
78
转载 Python网络爬虫第三弹《爬取get请求的页面数据》
一.urllib库 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。二.由易到难的爬虫程序： 1.爬取百度首页面所有数据值1 #!/usr/bin/env pyth...
2019-01-07 15:27:00
204
转载 06.Python网络爬虫之requests模块（2）
今日内容session处理cookieproxies参数设置请求代理ip基于线程池的数据爬取知识点回顾xpath的解析流程bs4的解析流程常用xpath表达式常用bs4解析方法引入有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往...
2019-01-07 15:24:00
58
转载 05.Python网络爬虫之三种数据解析方式
引入回顾requests实现数据爬取的流程指定url基于requests模块发起请求获取响应对象中的数据进行持久化存储其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。因此，本次课程中会给大家详细介绍讲解...
2019-01-07 15:23:00
78
转载 04.Python网络爬虫之requests模块（1）
引入Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。今日概要基于requests的get请求基于requests模块的post请求基于requests模块ajax的get请求...
2019-01-07 15:22:00
450
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人