10.分布式
文章平均质量分 89
分布式
夜海赤竹
这个作者很懒,什么都没留下…
展开
-
11.Ceph 对象存储系统 RGW 接口
其中 S3 与 Swift 互不兼容,RadosGw 为了兼容 S3 与 Swift, Ceph 在 RadosGW 集群的基础上提供了 RGW(RadosGateway)数据抽象层和管理层,它可以原生兼容 S3 和 Swift 的 API。S3和Swift它们可基于http或https完成数据交换,由RadosGW内建的Civetweb提供服务,它还可以支持代理服务器包括nginx、haproxy等以代理的形式接收用户请求,再转发至RadosGW进程。原创 2023-07-18 15:53:09 · 447 阅读 · 0 评论 -
10.Ceph接口使用
开始之前需要在所需要客户端节点上面安装ceph-common软件包,因为客户端需要调用rbd命令将RBD镜像映射到本地当作一块普通硬盘使用。并还需要把ceph.conf配置文件和授权keyring文件复制到对应的节点。本例主要是使用Linux客户端挂载RBD镜像为本地磁盘使用。原创 2023-07-17 19:15:39 · 308 阅读 · 0 评论 -
9.Ceph部署
【代码】9.Ceph部署。原创 2023-07-17 16:08:31 · 834 阅读 · 0 评论 -
8.分布式存储
存储机制会把数据分散存储到多个节点上,具有高扩展性、高性能、高可用性等优点。常见的分布式存储对比说明/文件系统TFSFastDFSMogileFSMoose FSGluster FSCeph开发语言C++CPerlCCC++开源协议GPL V2GPL V3GPLGPL V3GPL V3LGPL数据存储方式块文件/Trunk文件块文件/块对象/文件/块集群节点通信协议私有协议(TCP)私有协议(TCP)HTTP私有协议(TCP)原创 2023-07-14 15:43:50 · 296 阅读 · 0 评论 -
7.kafka+ELK连接
注:在 0.11 版本以前的Kafka,对此是无能为力的,只能保证数据不丢失,再在下游消费者对数据做全局去重。由于生产者生产的消息会不断追加到 log 文件末尾,为防止 log 文件过大导致数据定位效率低下,Kafka 采取了分片和索引机制,将每个 partition 分为多个 segment。topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。follower 故障。原创 2023-07-13 14:53:46 · 3227 阅读 · 1 评论 -
6.EFLFK(EFLK+kafka)
Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目Zookeeper 工作机制Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说 Zookeeper = 文件系统 + 通知机制。原创 2023-07-12 15:19:38 · 1038 阅读 · 0 评论 -
5.EFLK(ELK+filebeat)+filter过滤
语法:(?举例:捕获10或11和长度的十六进制数的queue_id可以使用表达式(?如果表达式匹配失败,会生成一个tags字段,字段值为 _grokparsefailure,需要重新检查上边的match配置解析是否正确。ipv4 的正则表达式0-9 [0-9]原创 2023-07-11 18:45:05 · 1180 阅读 · 0 评论 -
4.日志分布式-ELK
Logstash 配置文件基本由三部分组成:input、output 以及 filter(可选,根据需要选择使用)。input:表示从数据源采集数据,常见的数据源如Kafka、日志文件等filter:表示数据处理层,包括对数据进行格式化处理、数据类型转换、数据过滤等,支持正则表达式grok对若干个大文本字段进行再分割成一些小字段 (?<字段名>正则表达式) 字段名: 正则表达式匹配到的内容date 对数据中的时间格式进行统一和格式化mutate 对一些无用的字段进行剔除,或增加字段。原创 2023-07-10 18:45:58 · 4516 阅读 · 0 评论 -
3.zabbix操作二
下载 Windows 客户端 Zabbix agent 2。原创 2023-07-09 15:40:53 · 231 阅读 · 0 评论 -
2.zabbxi操作和设置
web端添加客户端https://share.zabbix.com/https://monitoringartist.github.io/zabbix-searcher/https://git.zabbix.com/projects/ZBX/repos/zabbix/browse/templates根据上面的Web创建模块方法,创建模块,创建监控项,创建触发器,创建图形,并连接主机原创 2023-07-09 15:08:10 · 749 阅读 · 0 评论 -
1.监控分布式--zabbix
zabbix agent 安装在被监控的主机上,zabbix agent 负责定期收集客户端本地各项数据,并发送至 zabbix server 端,zabbix server 收到数据后, 将数据存储到数据库中,用户基于 Zabbix Web 可以看到数据在前端展现图像。原创 2023-07-05 16:30:25 · 1123 阅读 · 1 评论