美团监控系统mysql_深入详解美团点评CAT跨语言服务监控（五）配置与数据库操作...

CAT配置

在CAT中，有非常多的配置去指导监控的行为，每个配置都有相应的配置管理类来管理，都有一个配置名， 配置在数据库或者配置文件中都是以xml格式存储，在运行时会被解析到具体实体类存储。我们选取一个配置的初始化代码来分析：

public class ServerFilterConfigManager implementsInitializable {

@InjectprotectedConfigDao m_configDao;private volatileServerFilterConfig m_config;private static final String CONFIG_NAME = "serverFilter";

@Overridepublic void initialize() throwsInitializationException {try{

Config config=m_configDao.findByName(CONFIG_NAME, ConfigEntity.READSET_FULL);

String content=config.getContent();

m_configId=config.getId();

m_modifyTime=config.getModifyDate().getTime();

m_config=DefaultSaxParser.parse(content);

}catch(DalNotFoundException e) {try{

String content=m_fetcher.getConfigContent(CONFIG_NAME);

Config config=m_configDao.createLocal();

config.setName(CONFIG_NAME);

config.setContent(content);

m_configDao.insert(config);

m_configId=config.getId();

m_config=DefaultSaxParser.parse(content);

}catch(Exception ex) {

Cat.logError(ex);

}

}catch(Exception e) {

Cat.logError(e);

}if (m_config == null) {

m_config= newServerFilterConfig();

}

Threads.forGroup("cat").start(newConfigReloadTask());

}

}

以上代码是serverFilter配置的初始化逻辑，该配置的管理类是ServerFilterConfigManager，可以看到他实现了Initializable接口，所以，在ServerFilterConfigManager被plexus容器实例化之后，就会调用initialize()做一些初始化的工作，咱们看看他的初始化逻辑。

1、他首先读取cat数据库的config表，如果根据配置名 CONFIG_NAME 找到相关的配置信息。

2、如果 config 表中存在配置信息，则通过 DefaultSaxParser.parse(content) 方法解析xml配置信息，并将解析后的配置信息写入实体对象ServerFilterConfig m_config，我们的xml配置文件必须遵守CAT的解析规则，他们才会被正确的解析成对应的XxxConfig对象，具体配置规则大家在有需要的时候一步步摸索。

3、如果 config 表中不存在配置信息，就会去读取默认 xml 文件， 解析后写入到数据库和实体对象，下次再初始化的时候就是直接从数据库读取了，xml一般存在于cat-core/src/main/resources/config/ 和 cat-home/src/main/resources/config/ 两个目录。

4、其中有两个配置 serverFilter 和 aggreationConfig， 开启了检查更新线程，线程每隔1分钟检查配置是否更新，有更新就重新加载配置。

5、server.xml 配置文件的目录是由环境变量 CAT_HOME指定的，由CatHomeModule在setup安装的时候初始化。

我们来列一列cat有哪些配置

代码自动生成

上一节 ServerFilterConfigManager 类代码中的配置实体ServerFilterConfig的定义为 public class ServerFilterConfig extends BaseEntity，所有的实体类都继承自BaseEntity，这些实体类代码不是自己写的，而是通过插件生成的，插件在cat-home/pom.xml，cat-core/pom.xml，cat-consumer/pom.xml 中都会有定义，用以添加需要的实体，包括后面数据库的操作相关的实体，也是通过类似方式生成，这有点类似mybatis的数据库表对象生成器generator，我们来看看cat-core中的一个插件的定义：

org.unidal.maven.plugins

codegen-maven-plugin

generate data model

generate-sources

dal-model

${basedir}/src/main/resources/META-INF/dal/model/server-manifest.xml,

${basedir}/src/main/resources/META-INF/dal/model/command-format-manifest.xml,

...

${basedir}/src/main/resources/META-INF/dal/model/server-filter-config-manifest.xml,

generate dal jdbc model

generate-sources

dal-jdbc

${basedir}/src/main/resources/META-INF/dal/jdbc/report-manifest.xml,

${basedir}/src/main/resources/META-INF/dal/jdbc/config-manifest.xml,

${basedir}/src/main/resources/META-INF/dal/jdbc/app-manifest.xml,

${basedir}/src/main/resources/META-INF/dal/jdbc/report-manifest.xml,

${basedir}/src/main/resources/META-INF/dal/jdbc/config-manifest.xml,

,]]>

插件在pom.xml中定义后，会在Maven Projects功能中展现出来，如图5：

插件会根据xml中的描述，生成相应的类，比如 ServiceFilterConfig实体类的描述文档为： ${basedir}/src/main/resources/META-INF/dal/model/server-filter-config-manifest.xml，这个文档是个父文档，它将引入文档server-filter-config-codegen.xml和server-filter-config-model.xml，这两个文档有对将要生成的类的成员变量、成员函数的描述。

在下一章节的消息分析器中，和报表相关的非常多的实体类 EventReport、EventType、EventName、TransactionReport、TransactionType、TransactionName、Machine等等，都是由CAT代码生成插件根据配置 cat-sonsumer/src/main/resources/META-INFO/dal/model/*.xml 自动生成的，我们可以通过修改xml文件为我们的报表添加新的成员变量。

数据库操作

在上一节插件中，还有一个是与数据库操作相关类的生成有关的，比如上边config表相关数据库操作类的描述文档为${basedir}/src/main/resources/META-INF/dal/jdbc/config-manifest.xml，插件会根据xml文档生成Config、ConfigDao、ConfigEntity三个类放在下图目录中：

那么config表有什么作用呢？这三个类分别有什么用途？在上一节我们多次用到这张表，例如我们初始化配置的时候，读取config表的记录，如果没有初始数据的话，配置管理类会从xml读取配置信息并插入config表了。

现在我们来讲一讲cat的数据库操作，先看看数据库操作的类图：

对数据库表的操作位于Dao类中，比如Config表的操作类就是 ConfigDao，所有Dao继承自AbstractDao，每个Dao都会拥有数据库执行引擎(QueryEngine)的指针，用以执行所有的SQL语句，QueryEngine在Dao初始化函数initialize()中被实例化，

每个执行引擎QueryEngine都拥有实体信息管理(EntityInfoManager)，以及查询解析器(QueryResolver)，查询执行器(QueryExecutor)，事务管理器(TransactionManager)，

实体信息管理类(EntityInfoManager)管理每个表的Entity信息，Entity中描述对数据库的具体操作，Config表的实体对象就是ConfigEntity，他会在AbstractDao.initialize()函数中向EntityInfoManager注册。

另外还有一个关键的类，就是Config类，继承自DataObject，是对config表的所有字段的描述。

我们来看几个数据库操作的案例，下面源码，

public class ConfigDao extendsAbstractDao {public List findAllConfig(Readset readset) throwsDalException {

Config proto= newConfig();

List result =getQueryEngine().queryMultiple(

ConfigEntity.FIND_ALL_CONFIG,

proto,

readset);returnresult;

}public Config findByName(String name, Readset readset) throwsDalException {

Config proto= newConfig();

proto.setName(name);

Config result=getQueryEngine().querySingle(

ConfigEntity.FIND_BY_NAME,

proto,

readset);returnresult;

}public int insert(Config proto) throwsDalException {returngetQueryEngine().insertSingle(

ConfigEntity.INSERT,

proto);

}

@Overrideprotected Class>[] getEntityClasses() {return new Class>[] { ConfigEntity.class};

}

}

函数功能：

1、findAllConfig函数是获取所有的配置，返回的对象，是Config的List列表，调用查询引擎QueryEngine的queryMultiple 查询多条记录方法，传入的参数分别是实体操作方法ConfigEntity.FIND_ALL_CONFIG、查询条件数据proto、readset。

2、findByName函数则是按名字查询Config配置，逻辑跟上一个类似。

3、insert函数是插入一条config记录，调用查询引擎的insertSingle方法，参数分别是实体方法ConfigEntity.INSERT， 插入数据 proto。

4、getEntityClasses函数获取实体类

接下来我们以查询单条记录作为例子来看看查询引擎的实现逻辑，如下源码：

public class DefaultQueryEngine extends ContainerHolder implementsQueryEngine {public T querySingle(QueryDef query, T proto, Readset> readset) throwsDalException {

QueryContext ctx= this.createContext(query, proto);

ctx.setReadset(readset);

ctx.setFetchSize(1);this.m_queryResolver.resolve(ctx);

List results = this.m_queryExecutor.executeQuery(ctx);if(results.isEmpty()) {throw new DalNotFoundException("No record has been found for " +proto);

}else{return (DataObject)results.get(0);

}

}protected QueryContext createContext(QueryDef query, T proto) {

QueryContext ctx= newDefaultQueryContext();

EntityInfo enityInfo= this.m_entityManager.getEntityInfo(query.getEntityClass());

Map queryHints = this.getQueryHints(query, proto);

ctx.setQuery(query);

ctx.setProto(proto);

ctx.setEntityInfo(enityInfo);

ctx.setQueryHints(queryHints);returnctx;

}

}

1、数据库引擎首先为该查询和对应条件数据proto创建查询上下文(QueryContext)，

2、然后会设置readset，并设置查询条数为1条，

3、然后将上下文交给查询解析器(QueryResolver)，解析器会根据查询上下文解析成对应的sql状态语，复制到上下文的 m_sqlStatement字段

4、最后将上下文交给执行器QueryExecutor去执行。并返回结果，如果没有找到结果，引擎会抛出DalNotFoundException异常。

数据库连接管理

数据库记录的更新与插入最终会由 MysqlWriteHandler 执行，而查询则由 MysqlReadHandler执行，两个Handler都会通过TransactionManager 的 getConnection 函数获取数据库的连接。

数据库连接是由DataSource管理，DataSource是由数据源管理器(DataSourceManager)管理，TransactionManager 拥有DataSourceManager的指针，DataSourceManager 提供函数getDataSource(String name)获取DataSource对象；

getDataSource函数首先会从DataSourceManager 自身 m_dataSources 中寻找指定数据源，如果没有找到，再从数据源描述管理器(JdbcDataSourceDescriptorManager) 中获取数据库数据源描述信息(JdbcDataSourceDescriptor)，然后利用描述信息去初始化连接池。

描述管理器也是先从自身 m_descriptors 中看是否存在指定描述信息(JdbcDataSourceDescriptor)，如果没有，则会通过 DataSourceProviver 生成描述信息。

DataSourceProviver可以认为是初始数据源描述信息(JdbcDataSourceDescriptor)的提供者，JdbcDataSourceDescriptorManager初始化的时候，Plexus容器会基于xml文档实例化 DataSourceProviver，这些xml文档有 cat-home/....../META-INF/plexus/components-cat-home.xml，cat-consumer/....../META-INF/plexus/components-cat-consumer.xml， cat-core/....../META-INF/plexus/components-cat-core.xml， 文档中的 datasourceFile 就是数据源配置路径，例如下面xml文档：

org.unidal.dal.jdbc.datasource.DataSourceProvider

org.unidal.dal.jdbc.datasource.DefaultDataSourceProvider

/data/appdatas/cat/datasources.xml

JdbcDataSourceDescriptorManager是如何通过DataSourceProviver获取数据源描述信息(JdbcDataSourceDescriptor)？实际上是通过DataSourceProviver读取并解析datasourceFile文件，例如上面的/data/appdatas/cat/datasources.xml，然后将解析后的数据写入 DataSourceDef 对象，然后JdbcDataSourceDescriptorManager调用 buildDescriptor(DataSourceDef ds) 创建描述信息，下面是buildDescriptor的源码：

public class JdbcDataSourceDescriptorManager extends ContainerHolder implementsInitializable {private Map m_descriptors = newHashMap();private Listm_providers;privateString m_datasourceFile;protectedJdbcDataSourceDescriptor buildDescriptor(DataSourceDef ds) {

JdbcDataSourceDescriptor d= newJdbcDataSourceDescriptor();

PropertiesDef properties=ds.getProperties();

String url=properties.getUrl();

String connectionProperties=properties.getConnectionProperties();if(connectionProperties != null && connectionProperties.length() > 0) {

d.setProperty("url", url + "?" +connectionProperties);

}else{

d.setProperty("url", url);

}

d.setId(ds.getId());

d.setType(ds.getType());

d.setProperty("driver", properties.getDriver());

d.setProperty("user", properties.getUser());

d.setProperty("password", properties.getPassword());

d.setProperty("login-timeout", Integer.valueOf(this.toTime(ds.getConnectionTimeout())));

d.setProperty("max-idle-time", Integer.valueOf(this.toTime(ds.getIdleTimeout())));

d.setProperty("min-pool-size", ds.getMinimumPoolSize());

d.setProperty("max-pool-size", ds.getMaximumPoolSize());

d.setProperty("checkout-timeout", ds.getCheckoutTimeoutInMillis());returnd;

}

}

数据源描述信息包含哪些内容呢，我们结合上面源码和下面的 datasources.xml配置来看，

每个data-source都有一个id； type默认jdbc； driver 默认为 com.mysql.jdbc.Driver、url、用户名、密码，登陆超时、连接池大小、超时检测等等。

3

1s

10m

1000

com.mysql.jdbc.Driver

root

f63hiccVEv0mMXi