Databricks创建cluster

Single node只有driver，没有worker，driver扮演者master和worker的角色。Single node适用于小数据量或非分布式工作负载的情景，如单节点机器学习库。

Multi node既有driver，也有worker，可以配置最小worker数量和最大worker数量。Multi node适用于具有分布式负载的大型作业。

Single node和Multi node只能在创建的时候选择，后续不能更改。

Access Mode:

Single User：只允许一个用户访问。支持python、sql、R、scala。

Shared：允许多个用户访问，用户之间数据隔离、环境隔离。只支持python和sql。

No Isolation Shared:允许多个用户访问，支持python、sql、R、scala。没有隔离，一个用户的操作可能会影响另外一个用户。

databricks的runtime包括Standard和ML。Standard包括Spark、Ubuntu、GPU、Delta Lake等。

ML除了包含Standard的所有内容外，还提供目前流行的机器学习框架。如PyTorch、TensorFlow等，可以用于机器学习。

Enable autoscaling:当选择Enable autoscaling后，databricks会根据工作负载，在设置的最小wokers和最大workers之间选择合适数量的worker。Enable autoscaling对于流处理具有局限性，因此不建议在流处理中使用这个。流处理可以使用Delta Live Table。

你还可以设置cluster自动停止，这是省钱的好办法。可以设置cluster多长时间处于不活动状态时停止这个cluster。默认值为120分钟，可以根据实际情况调整，最小10分钟，最大43200分钟。

可以在这里设置Spark config，设置环境变量，log的目录，初始化脚本。如果想在启动cluster的时候初始化环境，可以添加初始化脚本。

可以在Event log这里看到cluster的日志，如果cluster出现问题，可以在这里查找原因。