datahub关联代码开发

datahub开发

由于datahub是python代码，所有在修改后更换源码查看情况和Java开发起来相差巨大，本文主要介绍怎么使用datahub关联pip源码进行开发

pip安装

我们在使用pip安装时候其实在对应的组件时候，以hive为例

pip install 'acryl-datahub[hive]'

你在python的源码位置可以看到和datahub相同的代码

datahub代码

在这两个路径下你可以清晰的看到对应 的代码是一致的

代码修改测试

1，直接修改图一的hive代码，再使用命令

我是在源码的 /datahub/metadata-ingestion/docs/sources/hive路径下做的测试，在这里有对应的案例，可查看学习，我的测试yml

执行命令

datahub ingest -c hive_test.yml  #指定你的文件

这时候你就可以看到了修改信息

建议使用方式

cd smoke-test/   #datahub源码下可以看到这个模块
python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip wheel setuptools
pip install -r requirements.txt  #注意修改这个文件，我需要hive，在列表中就添加hive

你在这个模块下可以看到一个灰色的venv的模块加入
你可以看到你的终端界面发生了变化 终端行出现venv

这时候你的代码就和你对应requirements.txt 的相互关联了，这时候你再运行yml文件

这时候你就可以本地代码进行测试了