美团 CAT 集群的搭建与集成

最新推荐文章于 2022-08-10 16:23:36 发布
最新推荐文章于 2022-08-10 16:23:36 发布
阅读量434 收藏 1
点赞数
分类专栏： 监控

CAT 是大众点评开源的实时监控系统，它侧重于 Java 应用监控，可与各种流行的中间件框架集成（MVC框架、RPC框架、数据库框架、缓存框架等），实现应用各层级系统的运行状况监控。本文总结了 CAT 服务器集群的搭建、Java 应用的集成、以其控制台的使用。 

作者：王克锋 
出处：https://kefeng.wang/2018/07/06/tracing-cat/ 
版权：自由转载-非商用-非衍生-保持署名，转载请标明作者和出处。

1 概述
官网: https://github.com/dianping/cat/

1.1 概述
CAT(Central Application Tracking) 是大众点评开源的一套基于 Java 的实时应用监控平台，主要应用于服务中间件框架（MVC 框架、RPC 框架、持久层框架、分布式缓存框架）的监控（服务端、移动端、前端），为开发和运维提供各项性能指标、健康检查、自动报警等可视化服务。

1.2 依赖环境
本文只实现了本地磁盘文件存储（非大数据）方式。所用环境：

CentOS: 7.4.1708(内核 3.10.0)，安装方法
Java: 1.8.0，安装方法
Maven: 3.5.4，安装方法
MySQL: 5.7.20，安装方法
Tomcat: 7.0.90，安装方法
Git Client: 1.8.3.1(版本关系不大)，安装方法
Hadoop(可选): 小规模公司可采用磁盘模式，大规模公司采用Hadoop。
2 准备数据库
只需部署一个 MySQL 实例，CAT 集群中各节点共用。

2.1 配置数据库
增大 MySQL 最大允许的 SQL 字节数（默认为 4M）。

### sudo vim /etc/my.cnf
### 修改后重启: sudo systemctl restart mysqld
[mysqld]
max_allowed_packet=64M

2.2 创建数据库
DROP DATABASE IF EXISTS cat;
CREATE DATABASE cat CHARACTER SET utf8;
GRANT ALL ON cat.* TO cat_user@'192.168.%' IDENTIFIED BY 'MySQL5.7';
FLUSH PRIVILEGES;

2.3 创建数据表
执行 CAT 脚本: /opt/cat/script/Cat.sql

3 部署 CAT 集群
 
假设要部署三台: 192.168.126.101/102/103，以 192.168.126.101 为例来说明。

3.1 下载并构建
sudo rm -rf /opt/cat
## sudo git clone https://github.com/dianping/cat.git /opt/cat
sudo git clone https://github.com/kefeng-wang/cat.git /opt/cat
sudo chown -R admin:admin /opt/cat
cd /opt/cat
mvn clean install -DskipTests
## 如果遇到“找不到 jar 包”的报错，可从本地仓库删除相应目录，再重试

3.2 准备目录
sudo mkdir -p /data/{appdatas,applogs}/cat
## sudo mkdir -p /data/appdatas/cat/bucket ## 会自动创建(本地数据目录)
sudo chown admin:admin /data/{appdatas,applogs}/cat
cp /opt/cat/script/*.xml /data/appdatas/cat/

3.3 配置 datasources.xml
文件 /data/appdatas/cat/datasources.xml，替换中的参数：

${jdbc.url}: 数据库地址。形如 jdbc:mysql://localhost:3306，不要加额外选项
${jdbc.user}: 数据库用户。比如 cat_user
${jdbc.password}: 数据库用户密码。比如 MySQL5.7
3.4 配置 server.xml
3.4.1 节点的职责
控制台 - 提供给业务人员进行数据查看【默认所有的cat节点都可以作为控制台，不可配置】
消费机 - 实时接收业务数据，实时处理，提供实时分析报表【默认所有的cat节点都可以作为消费机，不可配置】
任务机(job-machine) - 做一些离线的任务，合并天、周、月等报表 【可以配置】
告警端(alert-machine) - 启动告警线程，进行规则匹配，发送告警（目前仅支持单点部署）【可以配置】
3.4.2 配置文件
文件 /data/appdatas/cat/server.xml，

<?xml version="1.0" encoding="utf-8"?>
<config local-mode="false" hdfs-machine="false" job-machine="false" alert-machine="false">
    <storage  local-base-dir="/data/appdatas/cat/bucket/" max-hdfs-storage-time="15" local-report-storage-time="7" local-logivew-storage-time="7">
    </storage>
    <console default-domain="Cat" show-cat-domain="true">
        <remote-servers>192.168.126.101:8080,192.168.126.102:8080,192.168.126.103:8080</remote-servers>
    </console>
</config>

一台(192.168.126.101) 部署“控制台、告警端、任务机”，可绑定域名以便外部访问: 指定 job-machine=”true” alert-machine=”true”； 
两台(192.168.126.102/103)，部署为“消费机”: 指定 job-machine=”false” alert-machine=”false”。

3.4.3 参数详解
local-mode: 建议在开发环境以及生产环境时，都设置为false
hdfs-machine: 定义是否启用 HDFS 存储方式，默认为 false
job-machine: 定义当前服务是否为报告工作机（开启生成汇总报告和统计报告的任务，只需要一台服务机开启此功能），默认为 false
alert-machine: 定义当前服务是否为报警机（开启各类报警监听，只需要一台服务机开启此功能），默认为 false；
storage: 定义数据存储配置信息
local-report-storage-time: 定义本地报告文件存放时长，单位为（天）
local-logivew-storage-time: 定义本地日志文件存放时长，单位为（天）
local-base-dir: 定义本地数据存储目录，建议直接使用/data/appdatas/cat/bucket目录
hdfs: 定义HDFS配置信息
server-uri: 定义HDFS服务地址
console: 定义服务控制台信息
remote-servers: 定义HTTP服务列表，（远程监听端同步更新服务端信息即取此值）
3.5 配置 client.xml
文件 /data/appdatas/cat/client.xml，用于指定 CAT 各服务器节点的信息：

server.ip: CAT 服务端的 IP；
server.port: CAT服务端接受数据的端口(不要修改)；
server.http-port: Tomcat启动的端口(建议默认)。
<servers>
    <server ip="192.168.126.101" port="2280" http-port="8080" />
    <server ip="192.168.126.102" port="2280" http-port="8080" />
    <server ip="192.168.126.103" port="2280" http-port="8080" />
</servers>

3.6 启动
sudo cp -f /opt/cat/cat-home/target/cat-alpha-2.0.0.war $CATALINA_HOME/webapps/cat.war
sudo systemctl restart tomcat

3.7 防火墙放行
### sudo vim /etc/sysconfig/iptables
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT
### 重启生效: sudo systemctl restart iptables

3.8 源码的远程调试
如果运行过程中遇到问题，可采用远程调试来跟踪：

项目导入 IDEA：本机下载源码，IDEA 中打开 cat 源码根目录，即可；
远程调试的设置：参考 IDEA 远程调试
4 Java 应用的集成
CAT 技术入门总结-0.1.0.doc

4.1 本机全局指定 Maven 仓库
由于 cat-client 等开发包并未加入 Maven 官方仓库(repo1.maven.org)，所以需要指定 cat 专用的远程仓库。

<!-- %MAVEN_HOME%\conf\settings.xml -->

<profiles>
    <profile>
        <activation>
            <activeByDefault>true</activeByDefault>
        </activation>
        <repositories>
            <repository>
                <id>central</id>
                <layout>default</layout>
                <url>http://repo1.maven.org/maven2</url>
            </repository>
            <repository>
                <id>unidal.nexus</id>
                <url>http://unidal.org/nexus/content/repositories/releases/</url>
            </repository>
        </repositories>
        <properties>
            <maven.compiler.source>1.8</maven.compiler.source>
            <maven.compiler.target>1.8</maven.compiler.target>
        </properties>
    </profile>
</profiles>

4.2 加入依赖(pom.xml)
<dependencies>
    <dependency>
        <groupId>com.dianping.cat</groupId>
        <artifactId>cat-client</artifactId>
        <version>2.0.0</version>
    </dependency>
</dependencies>

4.3 添加过滤器 CatFilter
SpringMVC 和 SpringBoot 项目，都是加入过滤器 com.dianping.cat.servlet.CatFilter，具体形式有差别。

4.3.1 SpringMVC 项目(web.xml)
<filter>
    <filter-name>cat-filter</filter-name>
    <filter-class>com.dianping.cat.servlet.CatFilter</filter-class>
</filter>
<filter-mapping>
    <filter-name>cat-filter</filter-name>
    <url-pattern>/*</url-pattern>
    <dispatcher>REQUEST</dispatcher>
    <dispatcher>FORWARD</dispatcher>
</filter-mapping>

4.3.2 SpringBoot 项目(CatFilterConfigure.java)
/**
 * @author: kefeng.wang
 * @date: 2018-07-06 14:00
 * @description: 添加过滤器 CatFilter
 **/
@Configuration
public class CatFilterConfigure {
    @Bean
    public FilterRegistrationBean catFilter() {
        FilterRegistrationBean registration = new FilterRegistrationBean();
        registration.setFilter(new CatFilter());
        registration.addUrlPatterns("/*");
        registration.setName("cat-filter");
        registration.setOrder(1);
        return registration;
    }
}

4.4 添加注解


@CatCacheTransaction
public void test() {
}

@ResponseBody
@RequestMapping("/hello")
@CatHttpRequestTransaction(type = "URL", name = "/hello")
public String hello() {
    return "hello!";
}

5 更多集成
 
CAT 框架埋点方案集成

5.1 集成 MyBatis
SpringBoot 集成 Mybatis 
参考文档：CAT 集成 MyBatis

5.2 集成 Dubbo
参考文档：CAT 集成 Dubbo，只需在 pom.xml 中添加依赖。

<dependency>
    <groupId>net.dubboclub</groupId>
    <artifactId>cat-monitor</artifactId>
    <version>0.0.6</version>
</dependency>

5.3 集成 Logback
参考文档：CAT 集成 Logback，logback.xml 中添加配置：

<appender name="CatAppender" class="com.dianping.cat.logback.CatLogbackAppender"></appender>

<root level="info">
    <appender-ref ref="CatAppender" />
</root>

6 管理平台的使用
6.1 控制台
http://192.168.126.101:8080/cat 
帐号/密码: catadmin/catadmin

6.2 项目配置
http://192.168.126.101:8080/cat/s/config?op=projects

6.3 相关文档
部署文档: http://192.168.126.101:8080/cat/r/home?op=view&docName=deploy 
用户文档：http://192.168.126.101:8080/cat/r/home?op=view&docName=user 
告警文档：http://192.168.126.101:8080/cat/r/home?op=view&docName=alert 
集成文档：http://192.168.126.101:8080/cat/r/home?op=view&docName=integration 
开发文档：http://192.168.126.101:8080/cat/r/home?op=view&docName=develop 
设计文档：http://192.168.126.101:8080/cat/r/home?op=view&docName=design 
常见问题：http://192.168.126.101:8080/cat/r/home?op=view&docName=problem

6.4 实时查看
http://192.168.126.101:8080/cat/r/t 

转自：https://blog.csdn.net/kefengwang/article/details/81213031 
其它相关文章https://blog.csdn.net/csdnxingyuntian/article/details/73028816

       https://blog.csdn.net/m0_37499059/article/details/80090779

_从头再来_
关注
专栏目录
【微服务】springboot整合skywalking使用详解
congge
12-31 1万+
springboot整合skywalking
SkyWalking 搭建及简单使用、入门（Linux）
成钰的博客
08-06 1万+
SkyWalking 搭建及简单使用、入门（Linux）
Mysql高可用架构集群--MyCat集群部署HAProxy+MyCat
01-29
Mysql高可用架构集群--MyCat集群部署HAProxy+MyCat Mysql高可用 MyCat HAProxy
美团Cat集群搭建
Lisam Blog
08-10 2162
转自：https://fanlychie.github.io/post/springmvc-dubbo-mybatis-with-cat.html CAT（Central Application Tracking）是基于Java开发的实时应用监控平台，包括实时应用监控，业务监控。关于CAT的具体介绍可移步到CAT官网进行查阅。 1. 环境清单 CentOS 7 ...
搭建 Cat 监控平台集群
zou100的专栏
01-10 1034
1、Cat 简介 Cat 是大众点评开源出来的一个监控平台，很多企业都在使用，比如官方提供的下面这些企业： 最近公司在使用 Cat 作为新的监控平台，通过这个机会，我也尝试去搭建 Cat 集群，下面简单介绍一下搭建的过程。   2、下载 Cat 代码 通过全球最大同性交友网站（ https://github.com/dianping/cat ）下载 Cat 代码，根据官方的介绍文档，...
搭建 Cat 监控集群平台
LieBrother
08-09 814
懒得 copy 一份了。。。 看个人公众号文章链接： 搭建 Cat 监控集群平台
spring cloud eureka 集群搭建、eureka学习、spring cloud组件学习
dandanforgetlove的专栏
06-23 601
通过配置文件多集群搭建 在 application.properties 中指定要加载的配置文件 #加载的配置文件，配置文件必须以 application- 开头，值为- 后面的值 spring.profiles.active=eur8100 这里创建了三个，分别是application-eur8100.properties、application-eur8200.properties、application-eur8300.properties 通过指定，来加载不同的配置文件。 ...
5分钟搭建SkyWalking监控系统
xvktdmjg的博客
01-24 1051
5分钟搭建SkyWalking监控系统 背景 公司项目采用微服务的架构，服务很多，人工监控是不可能的，项目的访问量很大，想通过日志查找某个方法中性能的问题也是非常困难的。但是系统的性能问题是不能忽视的。目前有几个比较好的开源APM（Application Performance Management）检测工具。 常见的监控工具对比 SkyWalking：中国人吴晟（华为）开源的一款分布式追踪，分析，告警的工具，现在是Apache旗下开源项目，对云原生支持，目前增长势头强劲，社区活跃，中文文档没有语言障碍。
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
m0_52435951的博客
04-10 3783
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
美团cat监控系统的服务器搭建
12-17
该文档是美团cat监控系统的服务器搭建，主要描述的是windows系统下，单机部署美团cat监控系统，客户端的使用请看下一个文件。
CAT 集群部署
你的笑忘书
08-10 411
CAT 集群部署
使用HaProxy实现Mycat的高可用
蹊源的奇思妙想的博客
09-24 2389
使用HaProxy实现Mycat的高可用 需要增加 mycat 服务的状态检测脚本 开放相应的检测端口，以提供给 HAProxy 对 MyCat 的服务状态进行检测判断 第一步：安装xinetd（ 实现MyCat心跳检测 端口48700） 通过 xinetd，HAProxy 可以用 httpchk 来检测 MyCat 的存活状态。 xinetd 即 extended internet daemon...
点评cat编译单机运行
Flyer的后花园
12-25 1073
本文参考了https://blog.csdn.net/d6619309/article/details/53510585 在这个基础上做了一些修改 原来使用cat的版本应该有些老  本文使用的是3.0.0 版本 CAT 是大众点评开源的一套基于java的实时应用监控平台，主要应用于服务中间件框架（MVC 框架、RPC 框架、持久层框架、分布式缓存框架）的监控，为开发和运维提供各项性能指标、健康...
cat 监控 java,cat监控http请求-CatFilter
weixin_33253741的博客
03-18 348
背景CatFilter是用于http监控，即web项目里的controller类里的方法的监控。实现原理其实就是servlet里的filter。本文主要讲springboot web项目和非springboot web项目如何实现监控url监控。CatFilter是cat客户端jar里的类，实现了servlet里的Filter接口。非springboot web项目直接配置即可，配置filter之...
CAT 极简入门（应用监控平台）
weixin_42073629的博客
06-20 2520
1. 概述 偷懒提示：《CAT 官方文档 —— 简洁》已经写的很赞，这里艿艿直接 CV 大法好~ CAT（Central Application Tracking）是基于 Java 开发的实时应用监控平台，为美团点评提供了全面的实时监控告警服务。 CAT 作为服务端项目基础组件，提供了 Java, C/C++, Node.js, Python, Go 等多语言客户端，已经在美团点评的基础架构中间件框架（MVC框架，RPC框架，数据库框架，缓存框架等，消息队列，配置系统等）深度集成，为美团点评.
深入详解美团点评CAT跨语言服务监控（一） CAT简介与部署
caohao0591的专栏
07-02 2万+
下一篇： CAT跨语言服务链监控（二） CAT服务端初始化 前言： CAT是一个实时和接近全量的监控系统，它侧重于对Java应用的监控，除了与点评RPC组件融合的很好之外，他将会能与Spring、MyBatis、Dubbo 等框架以及Log4j 等结合，支持PHP、C++、Go等多语言应用，基本接入了美团点评上海侧所有核心应用。目前在中间件（MVC、RPC、数据库、缓存等）框架中得到...
could not initialize class什么意思_JVM执行子系统，一点一滴来解析.class文件
weixin_34898216的博客
01-02 1万+
一、前言笔者关于JVM的一共有四篇文章，前一篇讲述“JVM自动内存管理”，讲述JVM的底层结构，内存分配与内存回收。本篇讲述“JVM执行子系统”，本篇的全部目标是解析.class文件，读完本篇后，您会发现从.java文件到.class文件的映射，直至一个变量的定义，每一行代码，都是有矩可循的。全文的结构是：第二部分，从Java两个无关性引入class文件，并对一个打印"hello world"字符...
java.lang.NoClassDefFoundError: Could not initialize class com解决方案
热门推荐
w36680130的博客
01-06 4万+
本文转载自：https://www.cnblogs.com/liuyangfirst/p/6811937.html 作者：liuyangfirst 转载请注明该声明。编写的时候遇到这样一个bug,java.lang.NoClassDefFoundError: Could not initialize class com 纠结了两天多,但是,没有找到答案,这个问题的多方提示就是 (1)缺...
Cloudera集群搭建与管理实践
搭建Cloudera集群需要规划硬件资源，配置网络环境，并通过Cloudera Manager进行安装和管理。Cloudera Manager简化了Hadoop的部署和运维，提供了图形化的界面来监控、管理和更新集群。 2. Linux基本命令： 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值