Docker Compose

本文档介绍如何在单机上通过 Docker Compose 快速一键部署一套 TiDB 测试集群。Docker Compose 可以通过一个 YAML 文件定义多个容器的应用服务,然后一键启动或停止。

注:对于生产环境,不要使用 Docker Compose 进行部署,而应使用 Ansible 部署 TiDB 集群。

准备环境

确保你的机器上已安装:

Docker(17.06.0 及以上版本)
Docker Compose
Git
快速部署

下载 tidb-docker-compose

git clone https://github.com/pingcap/tidb-docker-compose.git
创建并启动集群

cd tidb-docker-compose && docker-compose pull # Get the latest Docker images
docker-compose up -d
访问集群

mysql -h 127.0.0.1 -P 4000 -u root
访问集群 Grafana 监控页面:http://localhost:3000 默认用户名和密码均为 admin。

集群数据可视化:http://localhost:8010

自定义集群

在完成快速部署后,以下组件已默认部署:3 个 PD,3 个 TiKV,1 个 TiDB 和监控组件 Prometheus,Pushgateway,Grafana 以及 tidb-vision。

如果想自定义集群,可以直接修改 docker-compose.yml,但是手动修改比较繁琐而且容易出错,强烈建议使用 Helm 模板引擎生成 docker-compose.yml 文件。

安装 Helm

Helm 可以用作模板渲染引擎,只需要下载其 binary 文件即可以使用。

curl https://raw.githubusercontent.com/kubernetes/helm/master/scripts/get | bash
如果是 Mac 系统,也可以通过 Homebrew 安装:

brew install kubernetes-helm
下载 tidb-docker-compose

git clone https://github.com/pingcap/tidb-docker-compose.git
自定义集群

cd tidb-docker-compose
cp compose/values.yaml values.yaml
vim values.yaml
修改 values.yaml 里面的配置,例如集群规模,TiDB 镜像版本等。

tidb-vision 是 TiDB 集群可视化页面,可以可视化地显示 PD 对 TiKV 数据的调度。如果不想部署该组件,可以将 tidbVision 项留空。

PD,TiKV,TiDB 和 tidb-vision 支持从 GitHub 源码或本地文件构建 Docker 镜像,供开发测试使用。

如果希望从本地已编译好的 binary 文件构建 PD,TiKV 或 TiDB 镜像,需要将其 image 字段留空,并将已编译好的 binary 拷贝到对应的 pd/bin/pd-server,tikv/bin/tikv-server,tidb/bin/tidb-server。

如果希望从本地构建 tidb-vision 镜像,需要将其 image 字段留空,并将 tidb-vision 项目拷贝到 tidb-vision/tidb-vision。

生成 docker-compose.yml 文件

helm template -f values.yaml compose > generated-docker-compose.yml
使用生成的 docker-compose.yml 创建并启动集群

docker-compose -f generated-docker-compose.yml pull # Get the latest Docker images
docker-compose -f generated-docker-compose.yml up -d
访问集群

mysql -h 127.0.0.1 -P 4000 -u root
访问集群 Grafana 监控页面:http://localhost:3000 默认用户名和密码均为 admin。

如果启用了 tidb-vision,可以通过 http://localhost:8010 查看。

访问 Spark shell 并加载 TiSpark

向 TiDB 集群中插入一些样本数据:

$ docker-compose exec tispark-master bash
$ cd /opt/spark/data/tispark-sample-data
$ mysql -h tidb -P 4000 -u root < dss.ddl
当样本数据加载到 TiDB 集群之后,可以使用 docker-compose exec tispark-master /opt/spark/bin/spark-shell 来访问 Spark shell。

$ docker-compose exec tispark-master /opt/spark/bin/spark-shell

Spark context available as ‘sc’ (master = local[*], app id = local-1527045927617).
Spark session available as ‘spark’.
Welcome to
____ __
/ / ___ / /
\ / _ / _ `/ __/ '/
/
/ .__/_,// //_\ version 2.1.1
/
/

Using Scala version 2.11.8 (Java HotSpot™ 64-Bit Server VM, Java 1.8.0_172)
Type in expressions to have them evaluated.
Type :help for more information.

scala> import org.apache.spark.sql.TiContext

scala> val ti = new TiContext(spark)

scala> ti.tidbMapDatabase(“TPCH_001”)

scala> spark.sql(“select count(*) from lineitem”).show
±-------+
|count(1)|
±-------+
| 60175|
±-------+
你也可以通过 Python 或 R 来访问 Spark:

docker-compose exec tispark-master /opt/spark/bin/pyspark
docker-compose exec tispark-master /opt/spark/bin/sparkR

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叮咚网工

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值