- 博客(83)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 ZooKeeper基础知识及环境搭建
基础入门Zookeeper概述ZooKeeper是一种分布式协调服务，所谓分布式协调服务可以在分布式系统中共享配置，协调锁资源，提供命名服务。 zookeeper是基于内存同步数据的，所以集群内的节点其内存中的数据结构是完全相同的，因此效率非常高。下载地址：https://zookeeper.apache.org/releases.html#downloadZookeeper...
2019-10-09 13:24:19
1234
原创 常用linux系统扫描命令汇总
本文介绍了一些网络扫描的技术手段，其中包括主机扫描、路由扫描、批量服务扫描。常用命令：fping、hping、traceroute、mtr、nmap、nc、tcpdumpfpingfping是一个小型命令行工具，用于向网络主机发送ICMP回应请求，类似于ping，但在ping多个主机时性能要高得多。fping与ping不同的地方在于，fping可以在命令行中指定要ping的主机数量范围，也可...
2019-04-09 20:57:21
6685
转载 TCP三次握手四次断开
转载地址：www.51niux.comIP协议是网络层的主要协议，为上层传输层提供无连接、无状态、不可靠的服务。优点是简单高效。无状态是指各个IP报文是独立传送的，不同步传输状态的信息，所以容易发生重复和乱序的情况。不可靠是指IP协议不能保证数据报一定能被送达，可靠性主要是通过传输层的TCP协议来保证的。TCP协议是面向连接的协议，是工作在传输层的协议。TCP协议通过三次握手、四次挥手、流量控...
2019-04-08 09:34:45
1582
原创 Centos 6.X基础优化
关闭防火墙和SElinux 更改yum源 精简开机自启动服务 优化ssh登录策略 优化用户与登录策略 添加定时任务服务器进行时间同步 调整文件描述符大小 内核参数优化 锁定关键系统文件 history显示时间 删除登录信息 安装必要的软件 修改系统默认字符集 历史命令记录数量调小 禁ping grub加密码 lvs/haproxy负载均衡代理内核参数配置 ng...
2019-04-07 20:45:16
491
原创 iptables nat表实践
1：用于做企业路由(zebra)或网关(iptables),共享上网（POSTROUTING）2：做内部外部IP地址一对一映射(dmz),硬件防火墙映射IP到内部服务器，ftp服务器（PREROUTING）3：web,单个端口映射，直接映射80端口（PREROUTING）nat表： 负责网络地址转换，即来源与目的IP地址和port的转换。与主机本身无关，一般用于局域网共享上网或者特殊的端...
2019-04-06 13:17:49
3915
1
原创 iptables filter表实践
工作场景：主机防火墙filter表： 主要和主机自身有关，是真正负责主机防火墙功能的。filter是iptables默认使用的表，定义了三个链(chains):INPUT: 过滤所有目标地址是本机地址的数据包（过滤进入主机的数据包）FORWARD：负责转发流经主机的数据包，起转发的作用OUTPUT：处理所有源地址是本机地址的数据包（从本机发出去的数据包）iptables实践场景...
2019-04-06 12:10:34
2312
原创 iptables四表五链及规则组成
iptables组成：四张表 + 五条链(Hook point) + 规则iptables和netfilter的关系：Netfilter: Netfilter是linux操作系统核心层内部的一个数据包处理模块Hook point：数据包在Netfilter中的挂载点（INPUT、OUTPUT、FORWARD、PREROUTING、POSTROUTING ）iptables只是Linux...
2019-04-05 22:24:51
5749
2
原创 mongoDB 分片集群部署
mongodb分片模型图mongodb将大量的数据文件进行切割，将切割的数据块分别保存到不同的片上，其中每个片为一个副本集，而对外通过mongos提供统一接口，用户实际上感觉不到内部分片机制。ReplicaSet（副本集）： mongodb集群的一种实现方式，该副本集由一台活跃Mongodb服务器（节点）和两台非活跃Mongodb服务器（节点）组成，其中活跃节点会由Mongodb自动选举产生...
2019-03-29 15:28:46
643
原创 部署Kubernetes Dashboard 及监控组件 Heapster
部署Dashboard项目地址：https://github.com/kubernetes/dashboard1.下载官方提供的 Dashboard 组件部署的 yaml 文件wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboa...
2019-01-21 17:15:41
8153
原创 Kubernetes使用Harbor作为私有镜像仓库
概述Harbor使用了基于角色的访问控制策略，当从Harbor中拉去镜像的时候，首先要进行身份认证，认证通过后才可以拉取镜像。在命令行模式下，需要先执行docker login，登陆成功后，才可以docker pull。通常情况下，在私有云环境中使用kubernetes时，我们要从docker registry拉取镜像的时候，都会给docker daemo配置–insecure-registry...
2019-01-18 22:38:45
1509
原创 搭建Docker私有仓库Harbor
Harbor 介绍Harbor是一个用于存储和分发Docker 镜像的企业级Registry 服务器，通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源Docker Distribution。作为一个企业级私有Registry 服务器，Harbor 提供了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率。Harbor 支持安装在多个Registry节点的...
2019-01-18 22:02:46
381
原创 Kubernetes 架构组成&&重要概念
Kubernetes 架构Kubernetes Cluster 由 Master 和 Node 组成，节点上运行着若干 Kubernetes 服务。Master 节点Master 是 Kubernetes Cluster 的大脑，运行着如下 Daemon 服务：kube-apiserver、kube-scheduler、kube-controller-manager、etcd 和 Pod 网...
2019-01-13 13:17:35
572
原创 CentOS 使用二进制部署 Kubernetes 1.13.1集群
组件版本 && 集群环境组件版本：Kubernetes 1.13.1Etcd 3.3.10Flanneld 0.10部署节点：ip主机名192.168.20.203master192.168.20.202host2192.168.20.201host1集群环境变量：# 建议使用未用的网段来定义服务网段和Pod 网段# ...
2019-01-13 12:20:07
902
1
原创 Docker(十)Docker Swarm
环境说明：使用docker-machine的实验环境，创建swarm集群IPHostnameNode192.168.20.201host1worker192.168.20.202host2worker192.168.20.203mastermanager[root@master ~]# docker node lsID ...
2018-12-15 13:59:36
1512
原创 Docker(九)Docker Compose
Compose是Docker的服务编排工具，主要用来构建基于Docker的复杂应用，Compose 通过一个配置文件来管理多个Docker容器，非常适合组合使用多个容器进行开发的场景。安装Docker compose官方文档pip安装：pip install docker-compose从github安装：curl -L --fail https://github.com/docke...
2018-12-12 10:54:43
348
原创 Python基础（四）常用模块
模块（Module）：在python中，一个.py文件就称之为一个模块。模块共分为三种：python标准库、第三方模块和应用程序自定义模块模块导入：1. import 语句：import module1[, module2[,... moduleN]2. from…import 语句：from modname import name1[, name2[, ... nameN]]3. f...
2018-09-14 16:37:01
369
原创 Python基础（三）装饰器
装饰器：在代码运行期间动态增加功能的方式，称之为装饰器（Decorator）。本质就是函数，功能是为其他函数添加附加功能，原则：不修改被修饰函数的源代码，不修改被修饰函数的调用方式 装饰器 = 高阶函数 + 函数嵌套 + 闭包高阶函数函数的传入参数是一个函数名函数的返回值是一个函数名满足上述条件任意一个即为高阶函数1.传入参数是一个函数名： 可以实现在不修改源代...
2018-08-28 08:37:47
214
原创 Python基础（二）高阶函数map、reduce、filter
高阶函数：函数的传入参数是一个函数名函数的返回值是一个函数名满足上述条件任意一个即为高阶函数map：处理序列中的每一个元素，得到的结果是一个列表，该列表元素个数及位置与原来一样 reduce：处理一个序列，然后把序列进行合并操作 filter：遍历序列中的每一个元素，判断每个元素的到布尔值，如果是True则留下map()： map()函数接收两个参数，一个是函数，一个是I...
2018-08-27 23:55:48
229
原创 Python基础（一）迭代器、生成器
迭代器(iterator)什么是迭代器呢？它是一个带状态的对象，他能在你调用next()方法的时候返回容器中的下一个值，任何实现了__iter__和__next__()（python2中实现next()）方法的对象都是迭代器，__iter__返回迭代器自身，__next__返回容器中的下一个值，如果容器中没有更多元素了，则抛出StopIteration异常迭代器协议：指对象必须提供一个n...
2018-08-27 22:54:05
276
原创 awk之Linux Web服务器网站故障分析常用命令总结
系统连接状态篇1.查看TCP连接状态netstat -na |awk '/^tcp/ {print $6}'|sort|uniq -c|sort -rnnetstat -an|awk '/^tcp/{++s[$NF]}END{for(a in s)print a,s[a]}'2.查找请求数前20个IP（常用于查找攻来源）：netstat -anlp|grep 80|grep tc...
2018-08-21 16:42:08
254
原创 Linux三剑客之awk命令详解
awk简单入门awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。使用方法：awk '{pattern + action}' {filenames}常见用法示例： 1.$1:第一列，$0:整行，$NF:显示最后一个字段...
2018-08-21 16:24:20
449
转载 python中列表，元祖，字典，集合的区别
一.前言一直想写写这四种类型的相同点，与不同点在哪里，以及在什么情况下应该使用哪种类型。无奈水平不够，怕写出来不够深刻，所以一直拖着。今天想了想还是写出来吧，如果以后还有新的见解或者技巧我会继续更上去的。二.列表（list）具有以下特点： 1.可以用list()函数或者方括号[]创建，元素之间用逗号’,‘’分隔。 2.列表的元素不需要具有相同的类型 3.使用索引来访问元素 ...
2018-08-09 15:33:40
17052
4
转载 python 字符串（str）和列表（list）的互相转换
1.str >>>list str1 = "12345"list1 = list(str1)print list1str2 = "123 sjhid dhi"list2 = str2.split() #or list2 = str2.split(" ")print list2str3 = "www.
2018-08-09 09:55:36
20113
1
转载 浅谈Session与Cookie的区别与联系
一、Session的概念Session 是存放在服务器端的，类似于Session结构来存放用户数据，当浏览器 第一次发送请求时，服务器自动生成了一个Session和一个Session ID用来唯一标识这个Session，并将其通过响应发送到浏览器。当浏览器第二次发送请求，会将前一次服务器响应中的Session ID放在请求中一并发送到服务器上，服务器从请求中提取出Session ID，并和...
2018-08-08 09:25:47
135
原创 Cobbler自动化部署
Cobbler介绍Cobbler是一个快速网络安装linux的服务，而且在经过调整也可以支持网络安装windows。该工具使用python开发，小巧轻便，使用简单的命令即可完成PXE网络安装环境的配置，同时还可以管理DHCP、DNS、以及yum仓库、构造系统ISO镜像。Cobbler支持命令行管理，web界面管理，还提供了API接口，可以方便二次开发使用。Cobbler客户端Koan支...
2018-07-14 15:53:38
1379
原创 ELK实践（三）北京历年空气质量数据分析
一、了解数据及建模北京空气质量数据，下载地址 数据建模：PUT air_quality{ "mappings": { "doc": { "dynamic": false, "properties": { "@t
2018-07-08 15:00:38
2367
原创 ELK实践（二）nginx日志分析
一、了解数据及建模在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。logstash中默认存在一部分正则让我们来使用，可以在$logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1....
2018-07-06 13:09:07
1144
2
原创 ELK实践（一）使用es搭建商品搜索项目
一、了解数据及建模实验使用的数据是类Airbnb网站上的房屋信息，结构如下所示： 数据建模： 自定义分析器，以实现搜索时的自动补全功能，针对不同的字段定义不同的数据类型，以达到最优的效果：例如dynamic设置为false，对于不需要分词的字段直接设置类型为keyword，不需要检索的字段index设置为false等等。附上具体配置以供参考：PUT testairbnb{ "...
2018-07-05 23:13:32
3149
原创 正则表达式学习笔记
v1.0入门：http://www.jb51.net/tools/zhengze.html 进阶：http://div.io/topic/764?page=1 刷题：https://www.hackerrank.com/domains/regex/re-introduction在线测试： https://regexr.com/ https://regex101.com/ ...
2018-07-02 21:51:59
258
原创 ELK之Kibana
多个Elasticsearch节点间的负载均衡如果 Elasticsearch 集群有多个节点，分发 Kibana 节点之间请求的最简单的方法就是在 Kibana 机器上运行一个 Elasticsearch 协调（Coordinating only node） 的节点。Elasticsearch 协调节点本质上是智能负载均衡器，也是集群的一部分，如果有需要，这些节点会处理传入 HTTP 请求，...
2018-07-02 20:10:24
961
原创 Metricbeat、Packetbeat和Heartbeat
MetricbeatMetricbeat简介定期收集操作系统、软件或服务的指标数据存储在Elasticsearch中进行实时的分析Logs VS Metrics Logs:用来记录离散的时间，具有随机性。例如，应用程序的调试信息或错误信息等 Metrics:用于记录度量或可聚合的数据，具有计划性。例如，服务的响应时长等。 Metricbeat组成Module：Me...
2018-07-02 11:20:33
2816
1
原创 Logstash常用filter插件
Filter是Logstash功能强大的主要原因，它可以对Logstash Event进行丰富的处理，比如说解析数据、删除字段、类型转换等等，常见的有如下几个：date: 日志解析grok：正则匹配解析dissect：分割符解析mutate：对字段做处理，比如重命名、删除、替换等json：按照json解析字段内容到指定字段中geoip：增加地理位置数据ruby： 利用ruby代码...
2018-06-29 23:32:58
12608
原创 logstash实战之apacheLogs和csv
实战apache日志时间处理："@timestamp" => 2018-06-29T03:18:12.532Z Logstash写入日志的时间"timestamp" => "17/May/2015:10:05:47 +0000" apache日志时间需求：将timestamp赋值给@timestamp字段，但保留日志写入时间 解决办法： ...
2018-06-29 22:32:54
1204
原创 Logstash 基础知识整理
相关名词： Pipeline：input-filter-output的三阶段处理流程队列管理插件生命周期管理Logstash Event：内部流转的数据表现形式原始数据在input被转换为Event，在output event被转换为目标格式数据在配置文件中可以对Event中的属性进行增删改查Logstash架构图： Batcher负责批量的从queu...
2018-06-29 21:49:35
12496
5
原创 logstasg zabbix插件详解
Logstash错误日志发送到Zabbix并报警1.安装logstash-output-zabbix logstash-output-zabbix是一个社区维护的插件，它默认不安装,但是它安装起来也很容易，直接在logstash中运行即可：./bin/logstash-plugin install logstash-output-zabbix对于内网环境，我们可以将插件打包然...
2018-06-28 10:21:14
4441
1
原创 Elasticsearch 关联关系处理：Nested Object和Parent_Child
关联关系处理ES不擅长处理管理型数据库中的关联关系，比如文章表blog与评论表comment之间通过blog_id关联，在ES中可以通过如下两种手段变相解决：Nested ObjectParent/Child评论Comment：文章Id blog_id评论人 username评论日期 date评论内容 content Nested Object关系型...
2018-06-28 09:01:59
2356
1
原创 Elasticsearch 集群调优建议
生产环境集群搭建建议1.ES设置尽量简洁 elasticsearch.yml中尽量只写必备的参数，其他可以通过api动态设置的参数都通过api来设定 动态设定的参数有transient和persistent两种设置，前者在集群重启后会丢失，后者不会，但两种设定都会覆盖elasticsearch.yml中的配置。PUT /_cluster/settings{ "persiste...
2018-06-28 08:30:31
3210
1
原创 Elasticsearch 数据建模
数据建模：英文为Data Modeling，为创建数据模型的过程 数据模型（Data Model）对现实世界进行抽象描述的一种工具和方法通过抽象的实体及实体之间联系的形式去描述业务规则，从而实现对现实世界的映射数据建模的过程：概念分析：确定系统的核心需求和范围边界，设计实现和实体间的关系逻辑模型：进一步梳理业务需求，确定每个实体的属性、关系和约束等物理模型：结合具体的数据...
2018-06-27 23:09:59
2046
原创 Elasticsearch Search API
实现对es中存储的数据进行查询分析，endpoint为_search，查询主要有两种形式：URI Search：操作简便，方便通过命令行测试，仅包含部分查询语法Request Body Search：es提供完备查询语法Query DSL（Domain Specific Language）GET /bank/_search?q=gender:MGET /bank/account/_...
2018-06-22 12:29:39
6602
原创 Elasticsearch Mapping设置
Mapping类似数据库中的表结构定义，主要作用如下：定义Index下的字段名（Field Name）定义字段的类型，比如数据型、字符串型、布尔型等定义倒排索引相关配置，比如是否索引、记录position等自定义mapping：Mapping中字段类型一旦设定后，禁止直接修改（Lucene实现的倒排索引生成后不允许修改） 重新建立新的索引，然后做reindex操作 允许...
2018-06-21 22:30:34
8965
Twisted-18.7.0-cp36-cp36m-win_amd64.whl
2018-08-03
x-pack-core-6.2.3.jar破解版
2018-05-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人