yanqi_vip

一、业务数据库表结构 ### --- 业务数据库：数据源 ~~~ 交易订单表(yanqi_trade_orders) ~~~ 订单产品表(yanqi_order_product) ~~~ 产品信息表(yanqi_product_info) ~~~ 产品分类表(yanqi_product_category) ~~~ 商家店铺表(ya...

一、配置MySQL的binlog ### --- 常见的binlog命令 ~~~ # 是否启用binlog日志 mysql> show variables like 'log_bin'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | log_bin ...

一、Canal 安装说明 ### --- 单机模式，也可以将Canal搭建集群模式。 ~~~ 如果要搭建集群模式，可将Canal目录分发给其他虚拟机，然后在各节点中分别启动Canal。 ~~~ 这种Zookeeper为观察者监控的模式， ~~~ 只能实现高可用，而不是负载均衡， ~~~ 即同一时间点只有一个canal-server节点能够监控某个数据源...

一、Kafka客户端测试 ### --- 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/yanqi/servers/kafka_2.12/config/se...

一、Flume配置文件： ### --- flume配置文件：event-conf.properties ~~~ # 写入Flume配置文件：event-conf.properties [root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/event-conf.properties # the core co...

一、系统实时监控&可视化 ### --- 普罗米修斯Prometheus ~~~ # 功能：在业务层用作埋点系统 ~~~ Prometheus支持多种语言(Go，java，python，ruby官方提供客户端， ~~~ 其他语言有第三方开源客户端)。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下单流程、添加购物车流程。 ~~~ ...

一、prometheus部署：安装go语言环境 ### --- 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的，所以首先安装一个go环境，Go语言是跨平台，支持Windows、Linux、 ~~~ # Windows ：go1.8.3.windows-amd64.msi (78MB) ~~~ Linux ： go1.8...

一、部署prometheus-exporter ### --- 在系统层用作系统监控exporter ~~~ # 下载exporter版本包，主机是centos系统；因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz ， [root@hadoop00 software]# wget -c https://github.co...

一、部署pushgateway: ### --- pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具，使用它的原因主要是： ~~~ Prometheus 采用 pull 模式，可能由于不在一个子网或者防火墙原因， ~~~ 导致 Prometheus 无法直接拉取各个target 数据。 ~~~ 在监控业...

一、修改flink配置，开放flink被监控端口 ### --- 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下：/opt/yanqi/servers/flink-1.11.1/plugins/m...

一、通过grafana工具监控，可视化效果友好： ### --- 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-amd64.tar.gz ### --- 解压部署grafana版本...

一、在prometheus下添加数据源 ### --- 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name：promethe...

一、安装grafana-redis插件 ### --- 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis-datasource ~~~ # 输出参数 installi...

NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...