自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

lyzkks的博客

分享,互相学习

原创 kibana篇之数据探索Discover

导入测试数据 这里使用官方的测试数据进行导入,教程在 测试数据教程 导入模板 PUT /logstash-2015.05.18 { "mappings": { "log": { "properties":...

2018-07-29 12:30:06 1987 0

原创 saltstack API的使用

saltstack自定义模块 saltstack模块是指被salt调用的python函数。默认路径在/srv/salt/_modules。调用方法是: salt "*" 文件名.函数名 支持python和Cython,python以.py结尾,Cy...

2018-07-26 21:23:52 441 0

原创 saltstack使用

saltstack基本使用 按照saltstack部署的方式不是一个master+minion的测试环境。 通过salt-key -L查看一下加入salt环境的minion: Grains模块 grains模块使用 grains是minion启动的时候采集的系统的静态信息,包...

2018-07-22 18:39:20 442 0

原创 saltstack基础

saltstack介绍 概念 1、一个配置管理系统,能够维护预定义状态的远程节点。 2、一个分布式的远程执行系统,用来在远程节点上执行命令和查询数据。 特点 1、相对于其他(例如pupet)重量型自动化运维工具来讲其相对简单。 2、并发能力和并行执行能力强于ansible。 ...

2018-07-22 17:07:16 293 0

原创 kibana

kibana线上部署推荐架构 kibana页面 Index Patterns 在kibana页面中,Index Patterns 是用来定义索引匹配的。 点击进入这个功能的页面后,大体分为2个部分,左侧是创建按钮和已创建索引的部分,右边是具体某一索引的详情。 右侧有三...

2018-07-22 15:27:27 507 0

原创 logstash篇之监控运维

api logstash 提供了丰富的api来查看logstash的状态。 x-pack logstash的x-pack插件也提供了logstash相关的监控功能,将在kibana中以图形方式展现,弥补了api不直观的功能。 安装使用如下命令: logstash-plug...

2018-07-22 13:40:48 4225 0

原创 logstash篇之插件

input插件 input 插件指定数据的输入源,一个pipeline可以有多个input插件。 stdin 举例: file 配置 glob匹配语法 举例 kafka kafka是最流行的消息队列。 codec ...

2018-07-15 13:05:35 4062 0

原创 logstash篇之入门与运行机制

介绍 简介 logstash 是一个数据收集处理引擎。 工作流程 分为三个阶段 处理流 pipeline pipeline 是input-filter-output的三个阶段的处理流程,包含队列管理、插件生命周期管理。 logstash event 原始数据进...

2018-07-14 16:23:36 13231 0

原创 elasticsearch的分布式特性

分布式特性 es本身支持集群模式,是一个分布式系统,主要有两个好处: 增大系统容量,如内存、磁盘,使es集群可以支持PB的数据 提高系统的可用性,即使部分节点停止服务也不影响整个集群 es集群由多个es实例构成: 不同的集群通过名字来区分,可通过cluster.name进行修改,...

2018-06-23 17:08:48 291 0

原创 【docker案例】项目打包部署

docker compose用法 什么是compose Compose是一个定义和管理多容器的工具,使用Python语言编写。使用Compose配置文件描述多个容器应用的架构,比如使用什么镜像、数据卷、网络、映射端口等;然后一条命令管理所有服务,比如启动、停止、重启等。 安装co...

2018-06-17 16:18:56 4609 0

原创 【容器监控】cAdvisor+InfluxDB+Grafana

组件介绍 cAdvisor Google开源的用于监控基础设施应用的工具,它是一个强大的监控工具,不需要任何配置就可以通过运行在Docker主机上的容器来监控Docker容器,而且可以监控Docker主机。更多详细操作和配置选项可以查看Github上的cAdvisor项目文档。 Infl...

2018-06-17 13:29:15 406 0

原创 Portainer容器管理工具

简介 Portainer是一个开源、轻量级Docker管理用户界面,基于Docker API,可管理Docker主机或Swarm集群,支持最新版Docker和Swarm模式。 Portainer 允许您管理 Docker 容器、image、volume、network 等。 它与独立的 D...

2018-06-10 20:42:27 4164 0

原创 镜像仓库

搭建私有镜像仓库 当使用docker pull下载一个镜像的时候,实际是从docker hub网站下载镜像。Docker Hub作为Docker默认官方公共镜像;如果想自己搭建私有镜像仓库,官方也提供registry镜像,使得搭建私有仓库非常简单。 下载registry镜像并启动 doc...

2018-06-10 20:14:58 2114 0

原创 docker网络管理

网络模式 bridge 默认网络,Docker启动后默认创建一个docker0网桥,默认创建的容器也是添加到这个网桥中。 host 容器不会获得一个独立的network namespace,而是与宿主机共用一个。 在容器中使用ifconfig查看网络发现显示的是宿主机的...

2018-06-05 08:41:53 674 0

原创 docker中搭建LNMP平台

创建Mysql数据库容器 创建自定义网络 创建自定义网络的目的是方便做服务的发现。 docker network create lnmp 创建容器 docker run -tid --name=lnmp-mysql --net lnmp -p 3306:3306 --...

2018-06-04 13:38:57 436 0

原创 管理应用程序数据

将Docker主机数据挂载到容器 方式 volumes:Docker管理宿主机文件系统的一部分(/var/lib/docker/volumes)。 bind mounts:可以存储在宿主机系统的任意位置。 tmpfs:挂载存储在宿主机系统的内存中,而不会写入宿主机的文件系统。 v...

2018-06-04 08:46:08 347 0

转载 Docker技术应用场景

场景一:节省项目环境部署时间 1.单项目打包 每次部署项目到测试、生产等环境,都要部署一大堆依赖的软件、工具,而且部署期间出现问题几率很大,不经意就花费了很长时间。 Docker主要理念就是环境打包部署,可在任意Docker Engine运行。前期我们只需要将每个项目环境打包到镜像,push...

2018-05-29 20:54:57 281 0

原创 [集群监控]使用cAdvisor + Heapster + InfluxDB + Grafana

架构和组件 组件功能 cAdvisor:容器数据收集。 Heapster:集群监控数据收集,汇总所有节点监控数据。 InfluxDB:时序数据库,存储监控数据。 Grafana:可视化展示。 架构图 工作流程 cAdvisor负责收集节点的状态信息,然后Heapster会...

2018-05-26 13:44:05 1425 0

转载 [集群监控]使用Prometheus + grafana + node-exporter

架构原理 Prometheus 介绍 Prometheus (中文名:普罗米修斯)是由 SoundCloud 开发的开源监控报警系统和时序列数据库(TSDB)。 自2012年起,许多公司及组织已经采用 Prometheus,并且该项目有着非常活跃的开发者和用户社区。现在已经成为一个独...

2018-05-25 20:28:33 12050 0

原创 kubernetes高可用架构

在之前的实验中,kubernetes集群都是一台master和两台node组成的小集群,在实际的生产环境中需要考虑到集群的高可用。 在node节点实际已经实现了高可用,pod分布在不同的节点上,当一个节点宕机的时候,其上的pod会漂移到正常的节点上。所以,重点的高可用重心就要放在master上。...

2018-05-22 21:09:38 5124 4

原创 elasticsearch篇之SearchAPI

Search API Search API功能 Search API 实现了对es中存储的数据进行查询分析,endpoint为 _search 第一种是对es中所有的数据进行查询 第二种是对指定的index查询 第三种是对多个index同时查询 第四种是对指定...

2018-05-19 21:37:22 350 2

原创 elasticsearch篇之mapping

什么是mapping mapping是类似于数据库中的表结构定义,主要作用如下: 定义index下的字段名 定义字段类型,比如数值型、浮点型、布尔型等 定义倒排索引相关的设置,比如是否索引、记录position等 查看mapping GET /[index_name]/_m...

2018-05-17 18:01:37 26327 13

原创 elasticsearch篇之正/倒排索引与分词

倒排索引与分词 类似于书的目录,目录能够方便的定位哪一章节或哪一小节的页码,但是无法定位某一关键字的位置。有一些书的最后有索引页,它的功能就是帮助定位某些关键字出现的位置。 目录页对应正排索引 索引页对应倒排索引 正排索引和倒排索引 对于搜索引擎来讲: 正排索引是文档 Id...

2018-05-11 15:52:05 2832 1

原创 Logstash

简介 Logstash也是一个数据收据的工具,但是它会比beats占用更多的资源,同时更能也更强大。 Logstash会对数据进行提取、转换和输出。 官方定义是:一个数据处理流,能够同时从多个源提取、转换、发送数据。 处理流程 Input 支持从file,redis,bea...

2018-05-10 21:20:18 122 0

原创 Beats

Beats概述 什么是Beats 官方定义是:轻量级数据传送工具。 Beats其实是一组beat工具的统称,它包含有很多的工具。 beat工具 Filebeat:针对日志文件 Metricbeat:度量数据,可以搜集系统性能和软件数据,将这些数据存在Elasticsearch中就可...

2018-05-10 17:31:03 938 0

原创 elasticsearch增删改查

elasticsearch的CRUD操作 CRUD操作就是增、删、改、查。 create创建文档 POST /accounts/person/1 { "name":"John", "lastname":"D...

2018-05-10 14:50:28 506 0

原创 Kibana安装与配置

下载kibana 进入官网下载或者使用下面的命令下载,这里使用的是5.6.3 Linux版本: wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.3-linux-x86_64.tar.gz 安装配置kibana...

2018-05-10 14:01:10 2437 0

原创 安装与配置Elasticsearch

下载Elasticsearch Elasticsearch 属于 elastic 公司,进入该公司的官网 www.elastic.co。在这里可以清楚啊的看到Elastic Stack产品的各个组件和功能 点击Download按钮进入下载界面,这里我选择下载使用的版本为:Elastic...

2018-05-10 11:01:45 219 0

原创 Elasticsearch和其支持的RESTful API

Elasticsearch概念及特点 什么是Elasticsearch ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。 Elasticsearch是用Java开发的,并作为Apache许可条款...

2018-05-09 16:55:05 428 0

原创 ELK简介

概述 日志对于分析系统及应用状态十分重要,但一般日志的数据量会比较大,并且分散在各个地方。 如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看,分析。 但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此,一些集中式的日志系统也就应用而生。 目前比...

2018-05-09 14:31:41 598 0

原创 Volume

概述 什么是Valume 默认情况下容器的数据都是非持久化的,在容器消亡以后数据也跟着丢失,所以 Docker 提供了 Volume 机制以便将数据持久化存储。类似的,Kubernetes 提供了更强大的 Volume 机制和丰富的插件,解决了容器数据持久化和容器间共享数据的问题。 ...

2018-05-06 13:41:43 1595 0

原创 Ingress

概述 什么是Ingress 通常情况下,service 和 pod 的 IP 仅可在集群内部访问。集群外部的请求需要通过负载均衡转发到 service 在 Node 上暴露的 NodePort 上,然后再由 kube-proxy 通过边缘路由器 (edge router) 将其转发给相...

2018-05-02 21:15:38 5838 1

原创 安装setuptools和pip

python的包管理器,相当于readhat的yum,官方的说法是pip改善了easy_install的一些缺点,可能理解pip是easy_intall替代工具。 安装pip前要先安装setuptools,setuptools 是一组由PEAK(Python Enterprise Applica...

2018-04-25 19:52:41 362 0

原创 k8s集群service管理

集群service管理包括: 网络代理模式 服务代理 服务发现 发布服务 概述 Service 是对一组提供相同功能的 Pods 的抽象,并为它们提供一个统一的入口。 借助 Service,应用可以方便的实现服务发现与负载均衡,并实现应用的零宕机升级。 Service 通过标...

2018-04-25 15:52:59 9667 0

原创 pod管理

pod管理包括但不限于: - 创建、删除、更新、查询 - 资源限制 - 调度约束 - 重启策略 - 健康检查 - 问题定位 概述 pod是k8s集群中最小的单元,一个pod可以包含一个容器,也可以包含多个容器。 创建/查询/更新/删除 创建pod对象 通过...

2018-04-25 11:44:18 1945 0

原创 YAML配置文件管理资源

配置文件说明 定义配置时,指定最新稳定版API; API版本可以通过命令kubectl api-versions查看到 配置文件应该存储在集群之外的版本控制仓库中。如果需要,可以快速回滚配置、重新创建和恢复; 例如git。 应该使用YAML格式编写配置文件,而不是JS...

2018-04-24 19:31:44 1293 0

原创 【实战】股票价格分析实战

数据获取 源数据网站 数据获取有很多途径: 通过爬虫主动获取 通过官方提供的接口获取 通过一些专门提供数据的网站获取 这里采用第三种方法,使用finance.yahoo.com这个网站。这个网站常被用来进行金融股票数据的搜索。 例如,以阿里巴巴股票为例,进入网站搜索baba即...

2018-04-23 16:28:49 288 0

原创 Seaborn

概述 Seaborn是matplotlib的强大的一个扩展。 Seaborn和matplotlib对比 数据准备 首先导入数据,数据事先准备好的是一些花的品种,其他列分别表示花萼的长度\宽度、花瓣的长度\宽度 花的品种一共三种: 需求 要求画出花萼和花瓣的...

2018-04-21 16:33:02 663 0

原创 kubectl管理命令的使用

概述 kubectl是k8s集群的客户端,用户通过kubectl连接到集群的apiserver,并将命令传递到master上,然后master再将命令分发到node节点上执行。 kubectl由众多的子命令构成。 命令举例 创建 kubectl run nginx...

2018-04-19 18:08:17 11470 0

原创 直方图和密度图

直方图 直方图反映的是一组数据的分布情况 绘制直方图 hist方法可以用来绘制直方图: 这就是一个直方图,但是不是很清晰,可以指定每个柱间宽度: 直方图反应的是分布情况,为了加深这一理解,可以看如下实验: 反映了每个值出现的次数 指定分布区间 通过bin...

2018-04-19 15:45:30 8846 0

提示
确定要删除当前文章?
取消 删除