Databricks SDK for Python 使用教程
1. 项目的目录结构及介绍
Databricks SDK for Python 项目的目录结构如下:
databricks-sdk-py/
├── databricks/
│ ├── sdk/
│ │ ├── __init__.py
│ │ ├── workspace_client.py
│ │ ├── account_client.py
│ │ └── ...
│ ├── runtime/
│ │ ├── __init__.py
│ │ ├── dbutils.py
│ │ └── ...
│ └── ...
├── tests/
│ ├── test_workspace_client.py
│ ├── test_account_client.py
│ └── ...
├── docs/
│ ├── index.rst
│ ├── getting_started.rst
│ └── ...
├── setup.py
├── README.md
├── LICENSE
└── ...
目录结构介绍
databricks/
: 包含 SDK 的核心代码,分为sdk
和runtime
两个子目录。sdk/
: 包含与 Databricks 工作区和服务账户相关的客户端实现。runtime/
: 包含与 Databricks 运行时环境相关的模块,如dbutils
。
tests/
: 包含项目的单元测试代码。docs/
: 包含项目的文档文件,如index.rst
和getting_started.rst
。setup.py
: 项目的安装脚本。README.md
: 项目的介绍和使用说明。LICENSE
: 项目的开源许可证文件。
2. 项目的启动文件介绍
项目的启动文件主要是 databricks/sdk/workspace_client.py
和 databricks/sdk/account_client.py
。
workspace_client.py
该文件定义了 WorkspaceClient
类,用于与 Databricks 工作区进行交互。通过该类,用户可以执行与工作区相关的操作,如管理集群、作业等。
示例代码:
from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
for c in w.clusters.list():
print(c.cluster_name)
account_client.py
该文件定义了 AccountClient
类,用于与 Databricks 账户进行交互。通过该类,用户可以执行与账户相关的操作,如管理用户、权限等。
3. 项目的配置文件介绍
项目的配置文件主要是通过环境变量或代码中的配置参数来实现。以下是一些常用的配置项:
环境变量
DATABRICKS_HOST
: Databricks 工作区的 URL。DATABRICKS_TOKEN
: 用于身份验证的 API 令牌。DATABRICKS_CLUSTER_ID
: 用于指定 Databricks 集群的 ID。
代码中的配置
在实例化 WorkspaceClient
或 AccountClient
时,可以通过传递配置参数来指定相关配置。
示例代码:
from databricks.sdk import WorkspaceClient
config = {
"host": "https://your-databricks-workspace.cloud.databricks.com",
"token": "your-api-token"
}
w = WorkspaceClient(config=config)
通过以上配置,用户可以灵活地配置 Databricks SDK for Python 以适应不同的使用场景。