Netflix MetaCat 安装与使用指南
metacat项目地址:https://gitcode.com/gh_mirrors/me/metacat
一、项目的目录结构及介绍
在 Netflix/metacat
的根目录下,你会看到以下主要的组成部分:
- metacat-functional-tests: 包含用于测试MetaCat功能的各种单元测试。
- metacat-main: 主要包含MetaCat的核心代码逻辑。
- metacat-metadata-mysql: 针对MySQL数据库的元数据管理部分。
- metacat-metadata: 元数据服务的主要实现包。
- metacat-testdata-provider: 提供用于测试的数据集。
- metacat-thrift: Thrift接口定义和服务端点。
- metacat-war: 包含了可以部署到Tomcat的应用程序的WAR文件。
- project: 构建脚本和其他项目级配置文件的存放地。
- scripts: 脚本集合,包括构建和运行容器的辅助工具。
- editorconfig 和 gitignore: 编辑器配置和Git忽略规则文件。
- LICENSE: 许可证信息,即Apache-2.0许可协议。
- OSSMETADATA: 开源软件元数据。
- README.md: 项目的主要读我文件。
- build.gradle: Gradle构建配置文件。
- gradle.properties: Gradle属性设置文件。
- gradlew 和 gradlew.bat: Gradle包装脚本,分别对应Unix/Linux和Windows环境。
- sample_config.properties: 示例配置文件,展示了如何设置MetaCat的连接和运行参数。
二、项目的启动文件介绍
本地运行
若想在本地环境中运行MetaCat,首先将 build/libs
目录下的WAR文件部署至已有的Tomcat服务器中作为ROOT应用。完成后,可通过以下URL访问REST API:
http://localhost:8080/mds/v1/catalog
对于API文档,你可以通过下面的URL查阅:
http://localhost:8080/swagger-ui/index.html
使用Docker Compose
如果你更倾向于利用Docker来运行一个自包含的MetaCat环境,可以执行以下命令(确保已经安装了Docker Compose):
./gradlew metacatPorts
这会启动一系列Docker容器,其中包括MetaCat本身,以及支持它的Hive Metastore,Cassandra和PostgreSQL服务。获取映射端口以连接到内部容器的8080端口,访问API和文档:
http://localhost:<MAPPED_PORT>/mds/v1/catalog
http://localhost:<MAPPED_PORT>/swagger-ui/index.html
为了停止此Docker集群,只需执行:
./gradlew stopMetacatCluster
三、项目的配置文件介绍
MetaCat依赖于多个外部系统,如数据库存储和远程服务调用。这些连接细节通常保存在一个或多个配置文件中,例如常见的 application.properties
或者是 sample_config.properties
文件中的示例配置。这个文件应该包含必要的数据库连接字符串、用户名、密码等敏感信息,以及可能的超时设定、缓存策略或其他高级配置选项。
具体而言,在 sample_config.properties
中,您可以看到关于如何指定元数据存储位置的示例,比如用户的元数据配置文件路径:
metacat.usermetadata.config.location=Path/to/the/configuration/file/containing/connection/properties/to/store/user/metadata
以上介绍了 Netflix/metacat
项目的几个核心方面,从其目录结构解析到关键文件说明,希望能帮助初学者快速上手并理解该项目的关键组件和操作流程。