自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(72)
  • 收藏
  • 关注

原创 监控日志loging Elasticsearch(分片管理九)

将 Shard 从一个节点移动到另一个节点当处理任何大小的集群时,这是最常见的用例之一。 一个典型的场景是,如果在一个节点上共存了太多分片,它们将全部用于查询或索引。这种情况表示节点/群集健康的潜在风险。 因此,将分片从一个节点移动到另一个节点是一个好习惯。 Elasticsearch 可能不会自动处理这种情况,这意味着我们需要手动进行干预。 如何做到这一点?Elasticsearch 提供了一个集群级 API,该 API 允许将碎片从一个节点移动到另一个节点。 让我们在下面查看使用此 API 的示例

2020-12-03 17:13:56 3

原创 python Django web 框架 (三)之ORM

Django之模型层第一篇:单表操作一 ORM简介我们在使用Django框架开发web应用的过程中,不可避免地会涉及到数据的管理操作(如增、删、改、查),而一旦谈到数据的管理操作,就需要用到数据库管理软件,例如mysql、oracle、Microsoft SQL Server等。如果应用程序需要操作数据(比如将用户注册信息永久存放起来),那么我们需要在应用程序中编写原生sql语句,然后使用pymysql模块远程操作mysql数据库,详见图1但是直接编写原生sql语句会存在两方面的问题,严重影响开发

2020-12-03 16:46:42 7

原创 python Django web 框架 (二)之MTV

Django之路由层一 路由的作用路由即请求地址与视图函数的映射关系,如果把网站比喻为一本书,那路由就好比是这本书的目录,在Django中路由默认配置在urls.py中,如下图:二 简单的路由配置# urls.py from django.conf.urls import url# 由一条条映射关系组成的urlpatterns这个列表称之为路由表urlpatterns = [ url(regex, view, kwargs=None, name=None), # url本质就是一个

2020-12-03 16:45:35 8

原创 python Django web 框架 (一)之由来

一 Web应用的组成接下来我们学习的目的是为了开发一个Web应用程序,而Web应用程序是基于B/S架构的,其中B指的是浏览器,负责向S端发送请求信息,而S端会根据接收到的请求信息返回相应的数据给浏览器,需要强调的一点是:S端由server和application两大部分构成,如图所示:上图:Web应用组成[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-laRI9Slb-1606399294018)(C:\Users\lekaiyu\AppData\Roaming\Typo

2020-12-03 16:44:59 6

原创 python Flask web 框架 (二)

Flask0.Flask简介Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架,对于Werkzeug本质是Socket服务端,其用于接收http请求并对请求进行预处理,然后触发Flask框架,开发人员基于Flask框架提供的功能对请求进行相应的处理,并返回给用户,如果要返回给用户复杂的内容时,需要借助jinja2模板来实现对模板的处理,即:将模板和数据进行渲染,将渲染后的字符串返回给用户浏览器。“微”(micro) 并不表示你需要把整个 Web

2020-12-03 16:40:36 12

转载 监控日志loging Elasticsearch(性能优化八)

在当今世界,各行各业每天都有海量数据产生,为了从这些海量数据中获取想要的分析结果,需要对数据进行提取、转换,存储,维护,管理和分析。 这已然远远超出了普通处理工具、数据库等的实现能力,只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。 Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。Elasticsearch是一种分布式数据存储和搜索引擎,具有容错和高可用性特点。 为了充分利用其搜索功能,需要正确配置Elasticsearch。简单的默认配置不适合每个实

2020-12-03 16:36:41 5

原创 监控日志loging kibana (索引周期管理一)

如果你要处理时间序列数据,则不想将所有内容连续转储到单个索引中。 取而代之的是,您可以定期将数据滚动到新索引,以防止数据过大而又缓慢又昂贵。 随着索引的老化和查询频率的降低,您可能会将其转移到价格较低的硬件上,并减少分片和副本的数量。要在索引的生命周期内自动移动索引,可以创建策略来定义随着索引的老化对索引执行的操作。 索引生命周期策略在与 Beats 数据发件人一起使用时特别有用,Beats 数据发件人不断将运营数据(例如指标和日志)发送到 Elasticsearch。 当现有索引达到指定的大小或期限时,

2020-12-03 16:24:59 13

转载 监控日志loging Elasticsearch(索引生命周期管理七)

​ 在实战开发的生产环境中,索引的动态模板设置、索引Mapping设置、索引分片数/副本数设置、索引创建、打开、关闭、删除的全生命周期的管理必须高度关注,做好提前知识储备,否则,会在开发后期出现由于数据激增暴露架构设计不合理问题,甚至引发分片/节点数据丢失、集群宕机等严重问题。1、什么是Elasticsearch索引生命周期管理?Elasticsearch索引生命周期管理指:Elasticsearch从设置、创建、打开、关闭、删除的全生命周期过程的管理。Elasticsearch生产环境

2020-12-03 16:06:53 9

原创 SIEM系统通过ELK日志系统底层实现设想

一、前言本文不会涉及具体的平台搭建步骤以及具体的方案架构讨论,在这里只是想和大家分享一下我们在运营当中遇到的一些问题以及解决的思路,可能文中提及的技术架构也并非适合每一位读者。闲暇时写下本文,仅仅希望能够帮助在甲方企业和机构从事安全运营工作的同仁们获得一些启示和灵感,为大家提供更多的解决方向。本文前面的章节会简要给大家介绍下SIEM产品目前在市场上的几种分类和应用情况,接着会给大家介绍下我们为了解决一些运营中的难题,如何利用ELK搭建的一套简化版的SIEM平台,在文末我们会介绍下我在安全运营工作当中如何利

2020-12-03 10:24:22 24

原创 python Flask web 框架 (一)

01-01 初识Flask1 什么是flask?Flask 本是作者 Armin Ronacher在2010年4月1日的一个愚人节玩笑 ,不过后来大受欢迎,进而成为一个正式的python编写的web框架Flask是一个Python编写的Web 微框架,让我们可以使用Python语言快速实现一个网站或Web服务,在介绍Flask之前首先来聊下它和Django的联系以及区别,django个大而全的web框架,它内置许多模块,flask是一个小而精的轻量级框架,Django功能大而全,Flask只包含基本的

2020-11-30 14:31:02 32 1

原创 python 爬虫基础Selenium (十五)

一、Selenium+Python环境搭建及配置1.1 selenium 介绍selenium 是一个 web 的自动化测试工具,不少学习功能自动化的同学开始首选 selenium ,因为它相比 QTP 有诸多有点:免费,也不用再为破解 QTP 而大伤脑筋小巧,对于不同的语言它只是一个包而已,而 QTP 需要下载安装1个多 G 的程序。这也是最重要的一点,不管你以前更熟悉 C、 java、ruby、python、或都是 C# ,你都可以通过 selenium 完成自动化测试,而 QTP 只支持

2020-11-26 10:12:26 81

原创 python 爬虫Beautiful Soup 的简介 (十四)

1. Beautiful Soup 的简介简单来说,Beautiful Soup 是 python 的一个库,最主要的功能是从网页抓取数据。官方解释如下:Beautiful Soup 提供一些简单的、python 式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup 自动将输入文档转换为 Unicode 编码,输出文档转换为 utf-8 编码。你不需要考虑编码方式,除

2020-11-26 10:02:17 99

原创 python 爬虫基础 Scrapy ( 十三)

在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。import requestsdef fetch_async(url): response = requests.get(url) return responseurl_list = ['http://www.github.com', 'http://www.bing.com']for url in url_list: fetch_async(url)f

2020-11-23 17:04:46 185 2

原创 python 爬虫基础入门 (十二)

世界上80%的爬虫是基于Python开发的,学好爬虫技能,可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。整理这个文档资料希望能对小伙伴有帮助。什么是爬虫?网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。其实通俗的讲就是通过程序去获取web页面上自己想要的数据,也就是自动抓取数据爬虫可以做什么?你可以爬去妹子的图片,爬取自己想看看的视

2020-11-18 13:00:51 124

原创 Pthon魔术方法Magic Methods ( 十一)

​ 实例化一.实例化一个对象  __new__:    该方法需要返回一个值,如果该值不是cls的实例,则不会调用"__init__"。该方法永远都是静态方法。#!/usr/bin/env python#_*_conding:utf-8_*_class Person: def __new__(cls, *args, **kwar

2020-11-17 15:35:20 23

原创 python 线程、进程与协程 (十)

(一)线程与多线程​ 线程​ (1) 线程,有时被称为轻量级进程(Lightweight Process,LWP),是程序执行流的最小单元。​ (2)一个标准的线程由线程ID,当前指令指针(PC),寄存器集合和堆栈组成。有了这些它能够记录自己运行到了什么地方,可以称为线程的上下文。​ (3)线程的运行可能被抢占(中断)或暂时的被挂起(也叫睡眠)让其它的线程运行,这叫做让步。​ (4)线程也有就绪、阻塞和运行三种基本状态。就绪状态是指线程具备

2020-11-17 13:09:15 68

原创 python 网络编程socket (九)

一.socket介绍1>.TCP/IP协议2>.跨网络的主机间通讯  在建立通信连接的每一端,进程间的传输要有两个标志:  IP地址和端口号,合称为套接字地址 socket address  客户机套接字地址定义了一个唯一的客户进程  服务器套接字地址定义了一个唯一的服务器进程3>.什么是socket套接字  套接字(socket)是一个抽象层,应用程序可以通过它发送或接收数据,可对其进行像对文件一样的打开、读写和关闭等操作。套接字允许应用程序将I/O插入到网络

2020-11-17 12:52:12 37

原创 python常用模块 (五)

模块,用一砣代码实现了某个功能的代码集合。类似于函数式编程和面向过程编程,函数式编程则完成一个功能,其他代码用来调用即可,提供了代码的重用性和代码间的耦合。而对于一个复杂的功能来,可能需要多个函数才能完成(函数又可以在不同的.py文件中),n个 .py 文件组成的代码集合就称为模块。如:os 是系统相关的模块;file是文件操作相关的模块模块分为三种:自定义模块内置模块开源模块自定义模块1、定义模块情景一:情景二:情景三:2、导入模块Python之所以应用越来越广泛,在一

2020-11-16 16:13:54 56

原创 大数据消息队列 Kafka (五)

大数据技术之Kafka一Kafka概述1.1 Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。1)ApacheKafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2)Kafka最初是由LinkedIn公司开发,并于2011年初开源。2012年10月从ApacheIncubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。3)**Kafka是一个分布式消息队列。*

2020-11-12 14:38:56 82

原创 大数据数据仓库 Hive (三)

大数据技术之Hive一 Hive基本概念1.1 什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL/SQL转化成MapReduce程序1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yarn上1.2 Hive的优缺点1.2.1 优点1)操作接口采用类SQL语法,提供快速开发的能力(

2020-11-10 11:31:10 89

原创 Devops实现之jenkins (二)

1.jenkins安装方式一:安装jenkinsJDK下载:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlTomcat下载:http://tomcat.apache.org/Jenkins下载:https://jenkins.io/index.html####本地yum 源192.168.19.200 mirrors.aliyun.com[root@Jenkins ~]# yu

2020-11-10 11:03:53 47

原创 大数据数据传输 Sqoop (四)

大数据技术之Sqoop一、Sqoop简介Apache Sqoop™是一种旨在有效地在ApacheHadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop于2012年3月孵化出来,现在是一个顶级的Apache项目。请注意,1.99.7与1.4.6不兼容,且没有特征不完整,它并不打算用于生产部署。二、Sqoop原理将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。三、Sqoo

2020-11-10 10:58:40 31

原创 大数据高可用版 HBase(二)

一 搭建HBase的环境1.环境准备:解压 tar -zxvf hbase-1.3.1-bin.tar.gz -C /applicationln -s hbase-1.3.1-bin hbash设置环境变量 vi ~/.bash_profileHBASE_HOME=/application/hbashexport HBASE_HOMEPATH=$HBASE_HOME/bin:$PATHexport PATHsource ~/.bash_profile2.配置进入hbase-1.3.1.

2020-11-10 09:56:29 11

转载 Java8抽象之 Stream

一、概述Stream 是 Java8 中处理集合的关键抽象概念,它可以指定你希望对集合进行的操作,可以执行非常复杂的查找、过滤和映射数据等操作。使用Stream API 对集合数据进行操作,就类似于使用 SQL 执行的数据库查询。也可以使用 Stream API 来并行执行操作。简而言之,Stream API 提供了一种高效且易于使用的处理数据的方式。特点:​ 1 . 不是数据结构,不会保存数据。​ \2. 不会修改原来的数据源,它会将操作后的数据保存到另外一个对象中。(

2020-09-25 16:11:44 8

转载 java接口之 Serializable

最近在阅读JDK源码中的集合,看到很多集合类实现了Serializable接口,Cloneable接口。在阅读了很多关于Serializable接口的博客后,浅谈下我对Serializable接口的理解。序列化查看 官方文档 就会发现 Serializable接口中一个成员函数或者成员变量也没有。那么这个接口的作用是什么呢。网上找了一些博客看过之后,知道这个接口的作用是实现序列化。序列化:对象的寿命通常随着生成该对象的程序的终止而终止,有时候需要把在内存中的各种对象的状态(也就是实例变量,不是方法.

2020-09-25 15:13:55 7

原创 Devops实现之 nginx(一)

1.手动安装部署1.0检查软件安装的系统环境[root@web01 ~]# cat /etc/redhat-releaseCentOS Linux release 7.4.1708 (Core)[root@web01 ~]# uname –r3.10.0-693.2.2.el7.x86_64安装nginx的依赖包(pcre-devel openssl-devel)yum install -y pcre-devel openssl-devel ###安装依赖包pcre:兼容perl语言正则表达

2020-09-25 09:24:12 1632

原创 云原生技术之 Kubernetes(一)

Kubernetes 单点安装一、环境准备二、KubernetesInstallMaster配置1.安装CFSSL工具2.生成ETCD证书3.安装启动ETCD4.安装Docker5.安装Kubernetes6.生成分发Kubernetes证书7.master节点配置8.Master上安装node节点Node节点配置1.Docker安装2.分配证书3.Node节点配置4.创建 nginx代理5.认证

2020-09-24 17:27:25 78

原创 云计算技术之 OpenStack

.1 云计算简介云计算(英语:cloudcomputing ),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节,不必具有相应的专业知识,也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。1.1.1 云计算的特点互联网

2020-09-24 16:29:47 228

原创 虚拟化技术之 KVM (一)

1.1 前言1.1.1 什么是虚拟化?在计算机技术中,虚拟化(技术)或虚拟技术(英语:Virtualization)是一种资源管理技术,是将计算机的各种实体资源(CPU、内存、磁盘空间、网络适配器等),予以抽象、转换后呈现出来并可供分区、组合为一个或多个电脑配置环境。图 – 虚拟化示意图由此,打破实体结构间的不可切割的障碍,使用户可以比原本的配置更好的方式来应用这些电脑硬件资源。这些资源的新虚拟部分是不受现有资源的架设方式,地域或物理配置所限制。一般所指的虚拟化资源包括计算能力和数据存储。由于

2020-09-24 15:45:58 80

原创 虚拟化实现之 LXC (四)

1.1 LXC是什么?1.1.1 关于LXCLXC,其名称来自Linux软件容器(LinuxContainers)的缩写,一种操作系统层虚拟化(Operating system–levelvirtualization)技术,为Linux内核容器功能的一个用户空间接口。它将应用软件系统打包成一个软件容器(Container),内含应用软件本身的代码,以及所需要的操作系统核心和库。通过统一的名字空间和共用API来分配不同软件容器的可用硬件资源,创造出应用程序的独立沙箱运行环境,使得Linux用

2020-09-24 15:33:36 95

原创 虚拟化实现之 docker(三)

网络管理1.13.1docker的网络类型类型说明None不为容器配置任何网络功能,没有网络 –net=noneContainer与另一个运行中的容器共享Network Namespace,–net=container:containerIDHost与主机共享Network Namespace,–net=hostBridgeDocker设计的NAT网络模型**(默认类型)**Bridge默认docker网络隔离基于网络命名空间,在物理机上创建dock

2020-09-24 15:27:50 11

转载 CNCF开源项目概述

目录CNCF简介KubernetesEnvoy Proxy需求背景Envoy Proxy简介CoreDNS简介架构原理TUF简介Jaeger简介架构Vitess简介etcd简介应用场景NATS简介使用场景CloudEventsPrometheus简介监控的目标与常见监控系统比较常用的监控系统的不足Prometheus的优势gRPCgRPC简介什么是RPC特性基于HTTP/2IDL使用ProtoBuf多语言支持(C, C++, Pytho

2020-09-24 14:26:27 91

转载 Sidecar模式:下一代微服务架构的关键

Sidecar设计模式正在收到越来越多的关注和采用。作为Service Mesh的重要要素,Sidecar模式对于构建高度高度可伸缩、有弹性、安全且可便于监控的微服务架构系统至关重要。而Service Mesh也已经被证明,正在改变企业IT的“游戏规则”,它降低了与微服务架构相关的复杂性,并提供了负载平衡、服务发现、流量管理、电路中断、遥测、故障注入等功能特性。什么是Sidecar模式?Sidecar模式是一种将应用功能从应用本身剥离出来作为单独进程的方式。该模式允许我们向应用无侵入添加多种功能,避免了

2020-09-24 10:43:20 31

原创 大数据高可用版 hadoop(一)

https://blog.csdn.net/u010452388/article/details/99824846 参考网站阿里云环境准备1.挂载磁盘磁盘分区在将磁盘或者磁盘分区用作物理卷(PV)之前,需要对其进行初始化工作,即进行磁盘分区操作;因磁盘分区需求大于2T,所以fdisk无法实现管理,需要使用parted命令来做磁盘分区管理;parted的详细使用方法请参考博主之前的博客:使用parted命令对磁盘进行分区/dev/vdb# 新建/dev/vdb的磁盘标签类型为GPT[root@

2020-09-18 15:11:14 34

原创 监控数据指标kafka-metrics Prometheus(二)

Kafka metrics 所有的 metric 都可以通过 JMX 获取,暴露kafka metrics 支持两种方式1.在 Kafka Broker 外部, 作为一个独立进程, 通过 JMX 的 RMI 接口读取数据.这种方式的好处是有任何调整不需要重启 Kafka Broker 进程,缺点是多维护了一个独立的进程。2.在 Kafka Broker 进程内部读取 JMX 数据, 这样解析数据的逻辑就在 Kafka Broker进程内部, 如果有任何调整, 需要重启 Broker。选择暴露 k

2020-09-16 15:34:33 285

原创 监控数据指标basic-metrics Prometheus(一)

如上图,Prometheus主要由以下部分组成:Prometheus Server:用于抓取和存储时间序列化数据Exporters:主动拉取数据的插件Pushgateway:被动拉取数据的插件Altermanager:告警发送模块Prometheus web UI:界面化,也包含结合Grafana进行数据展示或告警发送prometheus本身是一个以进程方式启动,之后以多进程和多线程实现监控数据收集、计算、查询、更新、存储的这样一个C/S模型运行模式。了解以下疑问信息1、Promethe.

2020-09-16 14:19:56 126

原创 监控日志loging elastIcsearch(六)

logstash结合filebeat经过kafka收集系统及nginx日志架构图一、Beats 轻量型数据采集器Beats平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向Logstash 或 Elasticsearch 发送数据。官方文档地址https://www.elastic.co/guide/en/beats/filebeat/7.x/index.html官方下载地址:https://www.elastic.co/cn/downloa

2020-09-11 15:51:53 30

原创 python监测redis集群 kafka集群健康状况

Python 检测系统时间,redis,etcd,mysql,kafka1.Paramiko介绍paramiko包含两个核心组件:SSHClient和SFTPClient。SSHClient的作用类似于Linux的ssh命令,是对SSH会话的封装,该类封装了传输(Transport),通道(Channel)及SFTPClient建立的方法(open_sftp),通常用于执行远程命令。SFTPClient的作用类似与Linux的sftp命令,是对SFTP客户端的封装,用以实现远程文件操作,如文件上传

2020-08-21 14:15:48 88

原创 python面向对象 (八)

语言的分类面向机器抽象成机器指令,机器容易理解代表:汇编语言面向过程问题规模小,可以步骤化,按部就班处理代表:C语言面向对象OOP随着计算机需要解决的问题的规模扩大,情况越来越复杂。需要很多人、很多部门协作,面向过程编程不太合适了代表:C++、Java、Python等面向对象面向对象是一种认识世界、分析世界的方法论。将万事万物抽象为各种对象类class类是抽象的概念,是万事万物的抽象,是一类事物的共同特征的集合用计算机语言来描述类,是属性和方法的集合对象insta...

2020-08-18 16:32:37 35

原创 虚拟化实现之 docker(二)

官网:https://docs.docker.com/v18.03/Linux容器是与系统其他部分隔离开的一系列进程,从另一个系统镜像rootfs运行,并由该镜像提供支持进程所需的全部文件。容器镜像包含了应用的所有依赖项,因而在从开发到测试再到生产的整个过程中,它都具有可移植性和一致性。1:chroot,ldd2:lxc namespace(6大命名空间)和cgroup3:docker和kvm区别,docker镜像基础操作,docker容器日常操作,commit制作镜像,dockfile来自动构

2020-08-14 15:41:14 65

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除