- 博客(51)
- 收藏
- 关注
RSS订阅原创 Pulsar 集群部署
部署 Pulsar 集群部署 JDKcat >> ~/.bash_profile <<'EOF'# JDKexport JAVA_HOME=/root/jdkexport CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jarexport PATH=$PATH:${JAVA_HOME}/binEOFsouece ~/.bash_profile
2021-08-05 23:22:53
1181
原创 Maven 仓库
# Maven 使用其项目对象模型 Project Object Model 和一组插件构建项目# Maven 是用 Java 开发的项目构建工具，可使项目构建过程中的依赖管理、编译、测试、部署、文档实现自动化# 它提供了标准的、跨平台的自动化项目构建方式，并且能方便的管理# 它定义了目录的结构，在通过 Maven 创建项目时以该目录结构作为模板进行创建# ${basedir}# |-- pom.xml # 项目描述文件、项目对象模型# |-- sr.
2021-08-04 00:37:07
2453
原创 高级消息队列协议 AMQP 与 RabbitMQ 相关概念
AMQP (Advanced Message Queuing Portocol)AMQP# 是应用层协议的开放标准，为面向消息的中间件设计，基于此协议的客户端与消息中间件可直接传递消息而不受产品、开发语言等的限制# AMQP 覆盖的内容包含网络协议及服务端，其设计目标是让服务端可通过协议进行"编程"（Tips: 属于二进制协议）# 一套被称作高级消息队列模型 AMQ Model 的消息能力定义: 该模型涵盖了 Broker 中用于路由和存储消息的组件，以及把这些组件连在一起的规则# 一个网络层协
2021-08-02 23:01:48
2492
原创 rabbitmq 部署
安装依赖yum -y install socat gcc gcc-c++ openssl openssl-devel perl ncurses-base ncurses-devel ncurses-bin \unixODBC.x86_64 unixODBC-devel.x86_64 wxBase wxWidgets-devel安装 Erlang# 首先需对erlang对RabbitMQ的版本支持进行对比，因为它是由 erlang 编写的https://www.rabbitmq.com/whic
2021-08-01 00:16:39
2689
原创 Redis 的 RDB 与 AOF 持久化说明
# 备份Rdis数据只需将 RDB、AOF 文件复制备份起来即可，相同版本的备份文件可以任意使用redis-check-dump # 检测RDB备份文件redis-check-aof # 检测AOF备份文件RDB 持久化# RDB 是默认采用的持久化方式，其持久化是通过快照 snapshotting 完成的 (利用写时复制功能实现)# 当符合条件时自动将内存中的数据进行快照并转出到硬盘，其触发条件可在配置文件定义# 配置由两个参数构成：时间范围、改动的键的个数（当在指定时.
2021-07-27 21:51:48
2171
原创 实现 kafka 集群跨内外网访问
设置 Kafka 集群的内外网访问设置# Listeners 是 Broker 监听的网卡IP# Kafka 的配置文件 server.properties 记录了 Zookeeper 集群各节点的访问地址# 但是并未设置 *Broker 地址。Kafka 节点启动后向 Zookeeper 注册自己的同时也会从其中获取兄弟节点的地址实现节点间通信# 同样，客户端连接 Kafka 后返回给它的是集群各节点的访问地址，该地址也是从上面的 Zookeeper 中获得的# 这个地址就是 Kafka 节点
2021-07-20 10:48:46
1675
原创 Haproxy 负载解决方案
Haproxy 配置说明# HAproxy 特性# TCP/HTTP 反向代理 (负载均衡性能比Nginx好)# SSL/TLS 的启动、终结、卸载 (支持热更新)，支持泛域名，支持 SNI# 可针对HTTP请求添加 cookie，进行路由后端服务器# 基于内容的交换，可在一个端口上处理多个协议，如: HTTP/HTTPS、SSH# 可平衡负载至后端服务器，并支持持久连接# 支持所有master服务器故障切换至备用服务器# 支持专用端口实现监控服务# 不影
2021-07-20 00:15:16
2616
原创 ipvsadm 参数说明
Director Server: 提供 “Load Balancer” 功能的服务器virtual-service-address: 特指虚拟服务器的IPreal-service-address: 特指真实服务器的IPscheduler: 调度方法ipvsadm 命令格式及参数说明ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p [timeout]].
2021-07-17 21:32:49
139
原创 lvs 负载参考说明
lvs 负载参考说明# LVS 术语# DS: Director Server 提供负载均衡器的节点# RS: Real Server 后端真实的工作服务器# VIP 向外部直接作为用户请求的目标IP# DIP: Director Server IP 用于 DR 在内部和 RS 通讯时使用的IP# RIP: Real Server IP 后端服务器的IP# CIP: Client IP
2021-07-17 21:01:46
2299
原创 elastalert 告警配置说明
部署 ElastAlert# ElastAlert 在数据与特定模式匹配时发送警告。是可靠、模块化、易配置的工具# 通过将 Elasticsearch 与两种类型组件: 规则、警报结合使用，定期执行查询并将数据传递到规则# 首次运行前要使用其提供的可执行文件 "elastalert-create-index" 创建相关索引，索引名: elastalert_status# ElastAlert 的 Kibana UI 插件: https://github.com/bitsensor/elastale
2021-07-14 23:15:08
2167
原创 kubernetes 场景下的 filebeat autodiscover 自动发现功能说明
# 在容器内运行应用时会成为 "移动目标"# 自动发现允许对其跟踪并在发生变化时调整设置，自动发现子系统通过定义配置模板可以在服务开始运行时对其进行监控# 可在 filebeat.yml 中通过 filebeat.autodiscover.* 来定义自动发现设置# -------------------------------------------------------------- Docker# Docker 自动发现提供程序监视容器的启动和停止，下面是每个事件的可用字段: hos.
2021-07-13 22:18:26
4112
原创 filebeat 配置说明
https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-overview.html# 其主要由三部分构成: # https://www.elastic.co/guide/en/beats/filebeat/current/how-filebeat-works.htmlprospector "探测器"# 其管理所有 Harvsters 并找到所有需读取的数据源，启动时会启动一或若干 prospectors 探测器进程去检测指定
2021-07-12 16:38:28
1152
原创 SQL命令汇总
-- 命令行查看二进制日志./mysqlbinlog mysql-bin.000008-- 初始化Mysql./mysql_secure_installation-- 修改密码mysqladmin -u ${USERNAME} password "NEW_PASSWORD";-- 创建，删除数据库[create|drop] database DB_NAME;-- 删表drop table 表对象； -- 清空记录truncate table TABLE_NAME;dele
2021-07-12 10:41:57
3195
原创 kibana Timelion 使用参考备忘
时间序列数据可视化 Timelion# Timelion主要用于在可视化中组合完全独立的数据源，检索时间序列数据、通过计算挑选复杂问题的答案展示可视化结果# 如：# 1.每个唯一的用户在一段时间内查看了多少次页面# 2.本周与上周流量的区别# 3.今天日本有多少百分比的人口访问本网站# 4.标准普尔500指数的10天移动均线是什么# 5.过去年内收到的所有搜索请求的和https://www.elastic.co/guide/en/kibana/current/tim
2021-07-09 22:07:37
520
原创 SHELL脚本内嵌入二进制可执行程序
# 在SHELL脚本中可以嵌入二进制可执行程序# 思路：将二进制可执行程序添加到SHELL末尾，运行时再将该二进制可执行程序导出，然后执行导出的二进制程序# ---------------------------------- Example# 先准备SHELL脚本[root@localhost ~]# cat test.sh#!/bin/shprog_name="./test.exe"sed "1,/^# END OF THE SCRIPT/d" "$0" > ${prog_n.
2021-07-09 15:23:08
2183
原创 logstash 配置文件样例（伪代码）
如下配置不能实际运行，仅用于格式及配置流程的参考使用！（平时常用的插件汇总）# -----------------------------------------------------------# Filebeat中设置唯一的文档ID防止数据重复 (根据若干字段计算哈希指纹)# processors:# - fingerprint:# fields: ["field1", "field2"]# target_field: "@metadata._id"# --
2021-07-09 10:04:46
2219
原创 logstash filter-date 插件说明
# 从字段中解析时间戳date { match => ["[creatime]", # 时间字段 "yyyy-MM-dd HH:mm:ss", # "yyyy-MM-dd HH:mm:ss Z", # "MMM dd, yyyy HH:mm:ss aa", # Oct 16, 2020 11:59:53 PM.
2021-07-07 23:54:30
2832
原创 logstash-input-kafka 说明
input { kafka { bootstrap_servers => ["192.168.110.31:9092,192.168.110.31:9093,192.168.110.31:9094"] topics => ["logq","applog"] # 可配置多个topic group_id => "test" # 消费者组 client_id => "test"
2021-07-07 23:48:53
429
原创 logstash 双向加密
openssl req -x509 -batch -nodes -newkey rsa:2048 -keyout lumberjack.key -out lumberjack.cert -subj /CN=localhost lumberjack.key # name of the SSL key to be created lumberjack.cert # name of the SSL certificate to be created localho.
2021-07-07 17:36:14
2454
原创 Elasticsearch 部署笔记
# 实时分布式搜索、分析引擎，用于全文搜索、结构化搜索、分析，建立在全文搜索引擎 Apache Lucene 之上# 使用名为倒排索引的数据结构，支持极快的全文搜索。其包含出现在所有文档中的每个唯一词并标识每个词所在的相关文档及其元数据# 注: 文本字段存在倒排索引中，数值和地理字段存在 BKD 树中 ...# Elasticsearch 其他基础依赖、插件 Jdk1.8 # 自 7.0+ 版自带jdk，无需安装 Nodejs # 作为head插件的依赖（Chrome应用商.
2021-07-07 16:04:26
255
原创 logstash pipeline 模式说明
Multiple Pipelines# 当要在一个实例中运行多个管道时可通过 pipelines.yml 实现（采用 logstash -f 方式运行的实例是一个管道实例）# 为更方便管理，配置文件中使用一个 *.conf (input->filter->output) 文件对应一个pipeline（即path.config字段）# 在不带参数情况下启动Logstash时默认读取 pipelines.yml 并实例化其中指定的所有管道# 当使用 -e 或 -f 启动时将忽略 pipel
2021-07-07 14:16:39
3648
原创 logstash filter 配置转 ingest pipeline
# 在使用Elasticsearch的Ingest功能实现数据解析时，也要使用到Logstash的转换功能# 如下情况使用logstash处理会更加方便：# 1. 更多输入，Logstash可从本地获取来自许多其他来源的数据如TCP、UDP、syslog、关系数据库# 2. 更多输出，Ingest节点仅将Elasticsearch作为输出，但可能要使用多个输出。例如将传入数据存到S3并在Elasticsearch中对其建立索引# 3. 利用Logstash中更丰富的转换功能，例如外部查.
2021-07-07 09:47:39
202
原创 Logstash 运行参数说明
--node.name NAME # 实例名称，默认是当前主机名-f, --path.config CONFIG_PATH# 从特定文件或目录加载配置，若是目录则从该目录中的所有文件按字典顺序连接，然后解析为一个个配置文件# 可指定通配符，任何匹配的文件将按照上面描述的顺序加载# 例如使用通配功能按名称加载特定文件：logstash --debug -f '/tmp/{one,two,three}'-e, --config.string CONFIG_STRING # 使用给定字串.
2021-07-07 09:35:07
848
原创 Elasticsearch _reindex 操作说明
# _reindex 用于重建索引，并可在重建时提取字段，也可跨集群复制# 由于索引的某些配置是不可变的，如: 主分片数量、Mapping映射等，因此可通过重建索引的方式进行修改# 重建索引的操作不会复制索引的配置信息，因此需提前设置，或为其创建 Template# 最好在重建索引前将目标索引的副本数设为 0，并关闭刷新来加快写入进度# ------------------------------------------------------------------------ 复制索引P.
2021-07-06 11:16:36
629
原创 Elasticsearch 的 RBAC 账号角色权限管理 (xpack)
创建角色声明其拥有的权限POST _security/role/events_admin # _security/role/<ROLE_NAME>{ "indices" : [ { "names" : [ "events*" ], # 索引名 "privileges" : [ "all" ] # 权限 }, {
2021-07-06 00:54:02
494
原创 使用FRP穿透内网
# frp 是专注于内网穿透的高性能反向代理应用，支持 TCP、UDP、HTTP、HTTPS 等多种协议，并支持P2P连接模式# 通过在具有公网IP的节点上部署服务端，可以轻松的将内网服务穿透到公网，同时提供诸多专业的功能特性:# 1.C/S端通信支持 TCP、KCP、Websocket 等多种协议# 2.采用TCP连接流式复用，在单个连接中承载更多请求 ...# 3.代理组间的负载均衡 ...# 4.端口复用 (多个服务通过同一个服务端端口暴露)# 5.多个原生支持的客户.
2021-06-08 02:14:49
2437
原创 轻量级日志收集转发 fluent bit
# fluent bit 是开源的日志处理器和转发器，是 Fluentd 和 CNCF 的子项目，其完全基于 Fluentd 架构和通用设计的最佳理念进行设计和构建 ...# 其设计目标是成为瑞士军刀式的通用采集、处理、输出工具...# 允许从不同来源收集任何数据，如指标和日志，用过滤器丰富它们并发送到多个目的地，是Kubernetes等容器化环境的首选# 其设计上注重性能：高吞吐量、低CPU和内存使用率，用C语言编写，具有可插拔架构，支持70多种输入、过滤器和输出扩展 ...# 其数据缓存在内..
2021-06-01 10:50:57
1320
原创 consul 的键值存储
# 为提供服务发现和健康检测，Consul提供了易于使用的键值存储# 可被用于存储动态配置信息、帮助服务协作、建构Leader选举机制、及开发者可以想到的建构任何其它的东西 ...注册键值信息# 先验证KV存储内是否有键，若无则返回404（递归recurse）[root@node1 ~]# curl -s http://localhost:8500/v1/kv/?recurse# 先用PUT方法存储一些键值[root@node1 ~]# curl -X PUT -d 'test1' .
2021-05-29 13:25:32
438
原创 Zookeeper的命令工具 zkClient.sh 及相关命令解释
https://zookeeper.apache.org/doc/current/zookeeperCLI.html# 使用客户端工具 zkClient.sh 连接服务端[root@localhost bin]# ./zkCli.sh –server 127.0.0.1:13331Connecting to localhost:2181log4j:WARN No appenders could be found for logger (org.apache.zookeeper.ZooKeeper)
2021-05-26 16:14:18
935
原创 Zookeeper 接入 promethues 监控
# v3.6.0 开始可用，提供了丰富的指标来帮助用户监视ZooKeeper# 涉及：znode、网络、磁盘、仲裁、领导者选举、客户端、安全性、故障、监视/会话、requestProcessor等 ...# 修改所有zookeeper节点的配置文件，新增如下字段cat >> zoo.cfg <<'EOF'metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsPr.
2021-05-26 16:10:56
420
原创 关于 Zookeeper 的总结与配置备忘
https://zookeeper.apache.org/doc/current/index.html# Leader 选举流程 (Zab协议)# 1.所有的 Follower 广播自己事务队列中的最大事务编号 maxId# 2.接收集群中其他 Follower 发来的 maxId，挑选出最大的 maxId 所属的 Follower 后投票给该 Follower，选它为Leader# 3.统计所有投票，获取投票数超过一半的 Follower 被推选为 Leader# 广播#
2021-05-26 15:13:03
78
原创 Gossip 协议简介
Gossip# 在分布式网络中的节点是否具有高扩展性、可用性，数据如何传播，在不稳定的分布式网络环境中如何保证数据的实时同步?# Gossip 协议取自人类的"八卦"概念，两个人只要愿意即可随时互相交换信息 ...# Gossip 协议最终目的是将数据分发到网络中的每个节点，它是去中心化、容错、最终一致性的算法，并且具有指数级收敛速度# 其用于实现节点或进程间的信息交换，常被用在大型无中心化网络环境中，可将其认为是一种网络通信协议，类似于人类的谣言传播方式# 使用它的系统能够很容易的把 Ser
2021-05-25 15:36:09
414
原创 CoreDNS 的插件使用说明
https://coredns.io/manual/toc# plugins for CoreDNS : https://coredns.io/plugins/# CoreDNS 是模块化且可插拔的，每个插件都为其添加新特性，可通过Corefile，即CoreDNS的配置文件来定制其行为# 集群管理员可通过修改 Corefile 所属的 ConfigMap 来更改 CoreDNS 的工作方式 ...# 最基本的功能包括正反向查找、端口发现 (SRV)、IP发现 (PTR) 等 ...# 在其配置
2021-05-25 10:15:45
2075
原创 strace 命令的使用说明
# Linux用户空间跟踪器，通过其监控用户空间进程与内核之间的交互，比如系统调用、信号传递、进程状态变更等# strace底层使用内核的ptrace特性来实现，是一种动态跟踪工具，能高效定位进程和服务故障，协助进行故障处理和问题诊断# 系统调用 system call 指运行在用户空间的程序向操作系统内核请求需要更高权限运行的服务（由用户态模式切换至内核态模式）# 系统调用提供用户程序与操作系统之间的接口，操作系统的进程空间分为用户空间和内核空间：# 1.操作系统内核直接运行在硬件上.
2021-05-25 00:47:33
158
原创 使用 etcdctl 修改 etcd 实现 Coredns 的解析规则
设置域名解析# Coredns使用etcd的v3版api添加数据，etcdctl命令默认使用v2，因此需如下修改echo 'export ETCDCTL_API=3' >> ~/.bash_profileexport ETCDCTL_API=3# ----------------------------------------------------- Aetcdctl put /coredns/com/leffss/www '{"host":"1.1.1.1","ttl":10
2021-05-25 00:32:55
594
原创 helm 的 values.yaml 配置语法说明
# 在values.yaml文件中定义的值通过 Values 对象传递到templates下的YAML模板清单中# 下例在YAML模板清单中通常最左侧的点 . 表示全局作用域 (引用全局对象) 而中间的点类似js对Json对象的属性引用{{ .Values.key }}# Values对象代表着values.yaml中定义的参数，通过.Values对象可引用该文件内任意的参数{{ .Values.image.repository }}# helm在全局作用域中有两个重要的全局对象:# .
2021-05-25 00:30:45
10161
原创 启用 Harbor 的代理缓存 Proxy Cache 功能
# 代理缓存实现了代理并缓存来自公共或私有仓库的镜像的功能 # 系统管理员可以通过创建代理缓存类型的项目来配置代理缓存 (该项目使用配置的目标 registry 的 endpoint 进行连接)# 这种代理缓存类型的项目的工作方式与普通的Harbor项目类似，区别在于无法推送镜像到其中，这很好理解 ...# 自 v2.1.1 开始的代理缓存会使用HEAD请求来确定是否已在 docker Hub registry 中更新了缓存镜像的任何一层# 使用代理缓存时需配置 docker pull 命令和 .
2021-05-25 00:30:06
2585
原创 kubernetes 的 CoreDNS 配置及插件说明
# plugins for CoreDNS : https://coredns.io/plugins/# CoreDNS 是模块化且可插拔的，每个插件都为其添加了新功能，可通过Corefile，即CoreDNS的配置文件来定制其行为# 集群管理员通过修改 Corefile 所属的 ConfigMap 来实现更改 CoreDNS 的工作方式 ...# 最基本的功能包括: 正反向查找、端口发现 (SRV)、IP发现 (PTR) 等 ...# 在它的配置文件中注释以开 # 头，并且支持引用环境变量: {.
2021-05-25 00:28:35
1537
原创 helm 命令参考
# 创建名为example的Chart[root@localhost ~]# helm create example && tree example# example# ├── charts # 该目录存放该chart依赖的其他子chart# ├── Chart.yaml # 描述本chart的信息，如名字、描述、版本等 ...# ├── templates # 该目录.
2021-05-24 10:15:18
294
2
原创 helm 仓库的使用说明
# Helm的Repo仓库和Docker Registry类似，这个Chart库可用来存储和共享打包# Chart仓库其实就是带有index.yaml索引文件和若干个已打包的Chart的HTTP服务而已# 自己托管Chart仓库非常简单，如阿里云的OSS、Github Pages，甚至创建一个简单服务器都可以# --------------------------------------- Example# 添加私有仓库[root@localhost ~]# helm repo add bit.
2021-05-24 10:14:17
1983
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人