- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 storm总体结构01
storm涉及下列术语：storm结构图：（主节点用于分配代码，布置任务，检测故障。工作节点用于监听工作，开始并终止工作进程）注意：work是进程，executor是线程，task是最小处理单元。
2020-09-28 11:51:05
133
原创 grafana教程01
1.grafana开机启动：systemctl enable grafana-server2.查看端口号：(3000端口）netstat -tulnp|grep grafana配置数据源：查看infludb表：show measurements手动插入数据：手动插入一条数据后，开始在grafana配置图形展现，细节：时间间隔1分钟：点击:current开启自动刷新：在infludb插入三条数据：...
2020-09-14 10:01:39
1055
原创 logstash笔记01
先上例子：input { kafka { bootstrap_servers => "172.22.241.162:9092,172.22.241.163:9092,172.22.241.164:9092" topics => ["ngcct_contactlog_20200609"] group_id => "logstash_to_es" decorate_events => true auto_offset_reset
2020-09-11 00:22:23
229
原创 linux查看进程端口号并杀死进程
1.查看文件进程端口号：ps -ef |grep ngcct_contactlog_busi.conf2.杀死进程：kill -9 4138593.让文件内容为空：echo '' > ngcct_contactlog_ly_error.log4.使用vim来新建空文件：（可以带格式）vim test.conf...
2020-09-09 18:43:29
330
原创 Dbus相关官方文档
InfluxDB官方文档：https://docs.influxdata.com/influxdb/Dbus官方文档：https://bridata.github.io/DBus/index.htmlgrafana官方文档：http://docs.grafana.org/
2020-09-09 01:03:04
604
原创 linux搭建Dbus教程
1.在上一篇虚拟机搭建好之后，需要安装一下基本配置文件：参考文档：https://blog.csdn.net/niuxikun/article/details/1078331132.下面开始搭建Dbus平台：在 /home/csap 路径下搭建Dbus平台（输入pwd查看当前目录路径）搭建Dbus需要的组件有注意：还需要额外安装nginx基础组建： zookeeper 3.4.6 （集群都装） kafka 0.10.0.0 （集群都装） stor...
2020-09-06 21:42:39
3088
原创 linux查看端口号
netstat -tunlp|egrep "(2181|9092)"netstat -tunlp|egrep "(2181)"
2020-09-05 12:43:49
410
原创 VMware创建虚拟机
1.创建虚拟机2.典型，下一步3.选择镜像文件：G:\办公\虚拟机及苏老师发的包\CentOS-7-x86_64-Everything-1804.iso下一步：4.虚拟机命名：Dbus1、Dbus2、Dbus3 下一步5.磁盘大小改为60G 下一步下一步 点击完成6.第一个虚拟机已经配置好了，但是这里内存只有1G，改为2G点击：改为2048并确定：结果如下：7.点击 开启此虚拟机：8.如图所示，等待即可...
2020-09-04 22:04:44
312
原创 Dbus中UMS统一消息格式
无论是增量、全量还是日志，最终输出到结果kafka中的消息都是我们约定的统一消息格式,称为UMS(unified message schema)格式。如下图所示：Protocol 数据的类型，被UMS的版本号 schema namespace 由：类型. 数据源名.schema名 .表名.表版本号. 分库号 .分表号 组成，能够描述所有表。 例如：mysql.db1.schema1.testtable.5.0.0 fields是字段名描述 ums_id_ 消息的唯一id，
2020-09-02 16:10:33
842
原创 Dbus中日志类数据源的实现
什么是日志数据？业界日志收集、结构化、分析工具方案很多，例如：Logstash、Filebeat、Flume、Fluentd、Chukwa. scribe、Splunk等，各有所长。在结构化日志这个方面，大多采用配置正则表达式模板：用于提取日志中模式比较固定、通用的部分，例如日志时间、日志类型、行号等。对于真正的和业务比较相关的信息，这边部分是最重要的，称为message部分，我们希望使用可视化的方式来进行结构化。例如：对于下面所示的类log4j的日志：如果用户想将上述数据转换为如下的结构化
2020-09-02 16:00:34
466
原创 Dbus数据采集与分发
DBUS主要分为两个部分：貼源数据采集和多租户数据分发。两个部分之间以Kafka为媒介进行衔接。无多租户资源、数据隔离需求的用户，可以直接消费源端数据采集这一级输出到kafka的数据，无需再配置多租户数据分发。DBUS主要分为两个部分：貼源数据采集和多租户数据分发。两个部分之间以Kafka为媒介进行衔接。无多租户资源、数据隔离需求的用户，可以直接消费源端数据采集这一级输出到kafka的数据，无需再配置多租户数据分发。DBUS源端数据采集DBUS源端数据采集大体来说分为两部分：..
2020-09-02 15:30:04
713
原创 Dbus介绍
1 背景企业中大量业务数据保存在各个业务系统数据库中，过去通常的同步数据的方法有很多种，比如：各个数据使用方在业务低峰期各种抽取所需数据（缺点是存在重复抽取而且数据不一致） 由统一的数仓平台通过sqoop到各个系统中抽取数据（缺点是sqoop抽取方法时效性差，一般都是T+1的时效性） 基于trigger或时间戳的方式获得增量的变更（缺点是对业务方侵入性大，带来性能损失等）这些方案都不能算完美，我们在了解和考虑了不同实现方式后，认为要想同时解决数据一致性和实时性，比较合理的方法应该是基于日志的解
2020-09-02 15:13:05
1098
原创 linux-平均负载
uptime命令02:34:03 //当前时间up 2 days, 20:14 //系统运行时间1 user //正在登录用户数而最后三个数字呢，依次则是过去 1 分钟、5 分钟、15 分钟的平均负载（Load Average）。简单来说，平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，它和 CPU 使用率并没有直接关系。 1.所谓可运行...
2020-09-01 11:58:31
116
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人