developv002——EB实时数仓
developv002——EB实时数仓
yanqi_vip
strove with none, for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor
展开
-
SS00001.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v01|——|EbProject.v01|业务数据库表结构|
一、业务数据库表结构### --- 业务数据库:数据源~~~ 交易订单表(yanqi_trade_orders)~~~ 订单产品表(yanqi_order_product)~~~ 产品信息表(yanqi_product_info)~~~ 产品分类表(yanqi_product_category)~~~ 商家店铺表(ya...原创 2022-04-17 15:46:00 · 80 阅读 · 0 评论 -
SS00002.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v02|——|EbProject.v02|canal部署|
一、配置MySQL的binlog### --- 常见的binlog命令~~~ # 是否启用binlog日志mysql> show variables like 'log_bin';+---------------+-------+| Variable_name | Value |+---------------+-------+| log_bin ...原创 2022-04-17 15:46:00 · 76 阅读 · 0 评论 -
SS00003.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v03|——|EbProject.v03|canal部署&Canal部署|
一、Canal 安装说明### --- 单机模式,也可以将Canal搭建集群模式。~~~ 如果要搭建集群模式,可将Canal目录分发给其他虚拟机,然后在各节点中分别启动Canal。~~~ 这种Zookeeper为观察者监控的模式,~~~ 只能实现高可用,而不是负载均衡,~~~ 即同一时间点只有一个canal-server节点能够监控某个数据源...原创 2022-04-17 15:47:00 · 77 阅读 · 0 评论 -
SS00004.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v04|——|EbProject.v04|canal部署&kafka客户端测试|
一、Kafka客户端测试### --- 启动相关服务~~~ # 启动zookeeper服务[root@hadoop01 ~]# ./zk.sh start~~~ # 启动kafka服务[root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/yanqi/servers/kafka_2.12/config/se...原创 2022-04-17 15:47:00 · 74 阅读 · 0 评论 -
SS00005.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v05|——|EbProject.v05|Flume配置&Flume配置|
一、Flume配置文件:### --- flume配置文件:event-conf.properties~~~ # 写入Flume配置文件:event-conf.properties[root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/event-conf.properties# the core co...原创 2022-04-17 15:47:00 · 75 阅读 · 0 评论 -
SS00006.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v06|——|EbProject.v06|可视化&Prometheus部署|
一、系统实时监控&可视化### --- 普罗米修斯Prometheus~~~ # 功能:在业务层用作埋点系统~~~ Prometheus支持多种语言(Go,java,python,ruby官方提供客户端,~~~ 其他语言有第三方开源客户端)。我们可以通过客户端方便的对核心业务进行埋点。~~~ 如下单流程、添加购物车流程。~~~ ...原创 2022-04-17 15:48:00 · 77 阅读 · 0 评论 -
SS00007.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v07|——|EbProject.v07|可视化&Prometheus部署|
一、prometheus部署:安装go语言环境### --- 下载版本包并解压~~~ # 由于Prometheus 是用golang开发的,所以首先安装一个go环境,Go语言是跨平台,支持Windows、Linux、~~~ # Windows :go1.8.3.windows-amd64.msi (78MB)~~~ Linux : go1.8...原创 2022-04-17 15:48:00 · 177 阅读 · 0 评论 -
SS00008.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v08|——|EbProject.v08|可视化|
一、部署prometheus-exporter### --- 在系统层用作系统监控exporter~~~ # 下载exporter版本包,主机是centos系统;因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz ,[root@hadoop00 software]# wget -c https://github.co...原创 2022-04-17 15:49:00 · 141 阅读 · 0 评论 -
SS00009.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v09|——|EbProject.v09|可视化&pushgateway部署|
一、部署pushgateway:### --- pushgateway~~~ Pushgateway 是 Prometheus 生态中一个重要工具,使用它的原因主要是:~~~ Prometheus 采用 pull 模式,可能由于不在一个子网或者防火墙原因,~~~ 导致 Prometheus 无法直接拉取各个target 数据。~~~ 在监控业...原创 2022-04-17 15:49:00 · 174 阅读 · 0 评论 -
SS00010.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v10|——|EbProject.v10|可视化&Flink配置.V5|
一、修改flink配置,开放flink被监控端口### --- 把prometheus的jar包复制到flink的lib目录下~~~ # 把prometheus的jar包复制到flink的lib目录下~~~ # prometheus的jar包的地址在flink的plugin目录下:/opt/yanqi/servers/flink-1.11.1/plugins/m...原创 2022-04-17 15:50:00 · 72 阅读 · 0 评论 -
SS00011.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v11|——|EbProject.v11|可视化&grafana部署.V6|
一、通过grafana工具监控,可视化效果友好:### --- 下载grafana版本~~~ # 下载grafana版本包[root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-amd64.tar.gz### --- 解压部署grafana版本...原创 2022-04-17 15:50:00 · 95 阅读 · 0 评论 -
SS00012.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v12|——|EbProject.v12|可视化|
一、在prometheus下添加数据源### --- 配置数据源流程~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——>~~~ ——>Add data source——>Prometheus——>~~~ ——>Name:promethe...原创 2022-04-17 15:51:00 · 96 阅读 · 0 评论 -
SS00013.EBpositions——|Hadoop&EbProjec电商实时数仓项目.v13|——|EbProject.v13|可视化|
一、安装grafana-redis插件### --- 安装grafanan-redis插件~~~ # 安装grafana-redis插件[root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis-datasource~~~ # 输出参数installi...原创 2022-04-17 15:52:00 · 105 阅读 · 0 评论 -
SS00014.EBpositions——|Deployment|
NO:Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...原创 2022-04-17 15:52:00 · 54 阅读 · 0 评论