【机器学习化DBMS】——ottertune客户端部署安装

最新推荐文章于 2024-06-27 17:26:36 发布
最新推荐文章于 2024-06-27 17:26:36 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： Ottertune AI DataBase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40449300/article/details/88302266
版权
DataBase 同时被 3 个专栏收录
83 篇文章 9 订阅
订阅专栏
AI
13 篇文章 7 订阅
订阅专栏
Ottertune
7 篇文章 1 订阅
订阅专栏

一、准备工作

     1、操作系统：Ubuntu Linux 16.04+ (64-bit)

二、客户端运行原理

    客户端由一个驱动程序和一个控制器组成。驱动程序控制客户端的所有控制流，控制器收集DBMS旋钮和度量数据。

        

       1、步骤一：驱动程序首先清除缓存并重新启动数据库。它还检查磁盘使用量是否超过最大使用量（由用户定义的阈值）。如果是这样，驱动程序将丢弃实验数据库并重新加载基准，以确保有足够的空间进行实验，并且控制器可以收集DBMS旋钮和度量数据(DBMS knobs and metrics data)。

       2、步骤二：然后驱动程序将oltpbenchmark作为后台作业运行。oltpbenchmark是关系数据库的基准套件。当基准准备开始测量时，驱动程序向控制器发送一个信号，开始实验并等待基准完成。实验观察时间的长度在基准配置文件中定义.。

       3、步骤三：控制器在观察前首先收集knobs and metrics data。然后等待直到驱动程序发送另一个信号。

       4、步骤四：OLTPbenchmark完成测量后，驱动程序向控制器发送终止信号。在接收到信号后，控制器再次收集度量数据。控制器将所有收集的旋钮和度量数据以及元数据摘要（即数据库名称和版本、观察长度、开始/结束时间、工作负荷名称）格式化为JSON文件，并将这些文件发送回驱动程序。

       5、步骤五：驱动程序将控制器收集的所有DBMS数据上载到服务器。驱动程序将从服务器接收一个唯一的令牌，并使用该令牌定期检查服务器是否已完成推荐的新配置。

       6、步骤六：如果服务器已成功生成下一个配置，驱动程序将从服务器查询新配置并将其安装到数据库。

 

三、配置项

     客户端文件构成如下：  

.
├── controller
│   ├── build.gradle
│   ├── config
│   │   ├── sample_mysql_config.json   //mysql连接的基本信息
│   │   ├── sample_postgres_config.json  //postgres连接的基本信息
│   │   └── sample_saphana_config.json   //saphana连接的基本信息
│   ├── gradle
│   │   └── wrapper
│   │       └── gradle-wrapper.properties   //gradle基本信息
│   ├── log4j.properties
│   ├── README.md
│   ├── sample_output
│   │   ├── mysql
│   │   │   ├── knobs.json
│   │   │   ├── metrics_after.json
│   │   │   ├── metrics_before.json
│   │   │   └── summary.json
│   │   ├── postgres
│   │   │   ├── knobs.json
│   │   │   ├── metrics_after.json
│   │   │   ├── metrics_before.json
│   │   │   └── summary.json
│   │   └── saphana
│   │       ├── knobs.json
│   │       ├── metrics_after.json
│   │       ├── metrics_before.json
│   │       └── summary.json
│   └── src
│       ├── main
│       │   └── java
│       │       └── com
│       │           └── controller   //信息收集器
│       │               ├── collectors
│       │               │   ├── DBCollector.java   //重载DBParameterCollector里边的方法
│       │               │   ├── DBParameterCollector.java  //DBParameterCollector接口
│       │               │   ├── MySQLCollector.java   //收集mysql参数信息并存储到mysql中
│       │               │   ├── PostgresCollector.java //收集postgres参数信息并存储到mysql中
│       │               │   └── SAPHanaCollector.java   //收集SAPHana参数信息并存储到mysql
│       │               ├── ControllerConfiguration.java
│       │               ├── json_validation_schema
│       │               │   ├── config_schema.json
│       │               │   ├── schema.json
│       │               │   └── summary_schema.json
│       │               ├── Main.java
│       │               ├── ResultUploader.java
│       │               ├── types
│       │               │   ├── DatabaseType.java
│       │               │   └── JSONSchemaType.java
│       │               └── util
│       │                   ├── ClassUtil.java
│       │                   ├── CollectionUtil.java
│       │                   ├── FileUtil.java
│       │                   ├── json
│       │                   │   ├── JSONArray.java
│       │                   │   ├── JSONException.java
│       │                   │   ├── JSONObject.java
│       │                   │   ├── JSONStringer.java
│       │                   │   ├── JSONString.java
│       │                   │   ├── JSONTokener.java
│       │                   │   ├── JSONWriter.java
│       │                   │   └── Test.java
│       │                   ├── JSONSerializable.java
│       │                   ├── JSONUtil.java
│       │                   └── ValidationUtils.java
│       └── test
│           └── java
│               └── com
│                   └── controller
│                       └── collectors
│                           ├── AbstractJSONValidationTestCase.java
│                           ├── TestInvalidJSON.java
│                           ├── TestMySQLJSON.java
│                           └── TestPostgresJSON.java
└── driver
    ├── driver_config.json
    ├── fabfile.py
    ├── knobs
    │   └── postgres-96.json
    ├── LatencyUDF.py
    ├── lhs.py
    ├── lhs.sh
    ├── PostgresConf.py
    └── upload_batch.py

      1、控制器配置

       示例配置文件位于otertune/client/controller/config/目录下。需要更新文件中的信息。目前，不需要关心控制器配置文件中的upload_code和upload_url，因为驱动程序将处理上传结果到服务器。在驱动程序配置文件中进行设置，要指定控制器配置的路径，可能需要更改驱动程序配置中的controller_config。

     1）mysql信息（sample_mysql_config.json）如下：

{
  "database_type" : "mysql",
  "database_url" : "jdbc:mysql://localhost:3306/mysqldb",
  "username" : "MY_DATABASE_USERNAME",
  "password" : "MY_DATABASE_PASSWORD",
  "upload_code" : "DEPRECATED",
  "upload_url" : "DEPRECATED",
  "workload_name" : "workload_name"
}

    2）postgres配置信息（sample_postgres_config.json）如下：

{
  "database_type" : "postgres",
  "database_url" : "jdbc:postgresql://localhost:5432/postgres",
  "username" : "MY_DATABASE_USERNAME",
  "password" : "MY_DATABASE_PASSWORD",
  "upload_code" : "DEPRECATED",
  "upload_url" : "DEPRECATED",
  "workload_name" : "workload_name"
}

       2、驱动程序配置

      驱动程序配置文件位于ottertune/client/driver/driver_config.json。它包括数据库信息、OLTPBENCH信息和控制器信息。upload_url是ottertune服务器网站的url，upload_code在服务器网站的每个会话中都是唯一的。可以设置save_path为每个试验循环保存目标DBMS的收集信息。

{
  "database_type" : "postgres",
  "database_name" : "tpcc",
  "database_disk": "/dev/xvda1",
  "database_conf": "/etc/postgresql/9.6/main/postgresql.conf",
  "database_save_path": "/home/ubuntu/ottertune",
  "username" : "bohan",
  "password" : "bohan",
  "oltpbench_home": "/home/ubuntu/oltpbench",
  "oltpbench_config": "/home/ubuntu/oltpbench/config/tpcc_config_postgres.xml",
  "oltpbench_workload": "tpcc",
  "oltpbench_log" : "/home/ubuntu/ottertune/client/driver/oltp.log",
  "controller_config": "/home/ubuntu/ottertune/client/controller/config/sample_postgres_config.json",
  "controller_log" : "/home/ubuntu/ottertune/client/driver/controller.log",
  "save_path": "/home/ubuntu/results",
  "upload_url" : "http://127.0.0.1:8000",
  "upload_code" : "I5I10PXK3PK27FM86YYS",
  "lhs_knob_path" : "/home/ubuntu/ottertune/client/driver/knobs/postgres-96.json",
  "lhs_save_path" : "/home/ubuntu/ottertune/client/driver/configs"
}

      3、OLTP-Bench 配置

       目前，我们使用oltpbench在观察期间运行工作负载（默认为5分钟）。您可以更改OLTP-Bench配置以更新工作负荷信息。路径可以在驱动程序配置的oltpbench_config中指定。注意，如果在OLTP-Bench配置中增加了scale_factor or terminal，那么还应该增加数据库配置中的最大连接数。

       可以按照如下说明构建OLTP工作台并加载数据库。

ant
./oltpbenchmark -b tpcc -c config/tpcc_config_postgres.xml --create=true --load=true

  注：上面的命令运行ant时报错Unable to locate tools.jar. Expected to find it in /usr/lib/jvm/java-8-openjdk-amd64/lib/tools.jar

      

    原因：java的默认jre选择错误 

    解决办法：root@instance-ehcsziev:/home/tangqing/oltpbench# sudo update-alternatives --config java

      

   输入数字选择：2，修改java默认的jre 

    继续执行：ant

      

    继续执行：

ant
./oltpbenchmark -b tpcc -c config/tpcc_config_postgres.xml --create=true --load=true

      

三、运行

      在设置了上述三种配置之后，您可以在上面的描述中运行循环。在每个循环中，它收集目标DBMS信息，上传到服务器，获取新的推荐配置，安装配置并重新启动DBMS。用户可以继续运行循环，直到对推荐的配置满意为止。函数在驱动程序文件otertune/client/driver/fabfile.py中定义。

      fab loop运行一个单循环。fab run_loops：max_iter=10运行10个循环。您可以设置最大迭代次数来更改最大迭代次数。

 

四、参考资料


     1、安装参考：https://github.com/cmu-db/ottertune/wiki/client-side

     2、关于OtterTune，请参阅相关或的

              代码：https://github.com/cmu-db/ottertune

              论文：http://db.cs.cmu.edu/papers/2017/tuning-sigmod2017.pdf

              官网：http://ottertune.cs.cmu.edu/

数据库练兵场
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python-OtterTune用机器学习自动调优数据库管理系统DBMS
08-10
OtterTune 用机器学习自动调优数据库管理系统（DBMS），The automatic DBMS configuration tool
通过机器学习来自动调优数据库
02-25
本文是卡耐基梅隆大学的DanaVanAken、AndyPavlo和GeoffGordon所写。这个项目展示了学术研究人员如何利用...卡耐基梅隆大学数据库研究组的学生和研究人员在开发一个新的工具，名为OtterTune，可以自动为DBMS的“旋
【机器学习化DBMS】——ottertune服务端部署安装
汤庆
02-24 2773
一、准备工作 1、操作系统：Ubuntu Linux 16.04+ (64-bit) 2、配置好网络，以下安装均需联网安装 3、python 3.5 + 二、安装步骤 otertune由两个组件组成：客户端和服务器端。Ottertune的服务器从客户机接收调优任务，并使用ML模型向客户机推荐新的配置。otertune的客户端组件是从目标DBMS收...
数据库调优厂商 OtterTune 宣布停止运营
最新发布
Bytebase的博客
06-27 506
Andy 教授是数据库行业里非常活跃的人物，横跨学术界和工业界。他每年在 OtterTune 博客上撰写的数据库行业年度回顾也是从业者的必读文字。现在 OtterTune 的博客地址也已经跳转到了 Andy 在 CMU 的博客。OtterTune 的成员主要来自 CMU Andy Pavlo 教授领导的数据库实验室。按照 Andy 教授的说法，公司是被一个收购 offer 搞砸了。同时他也提到，机器学习大大提升了调优效果。R.I.P. OtterTune，期待 Andy 教授和他团队的下一段旅程 🙏。
ottertune安装实验
u013385018的专栏
11-18 2129
1. https://github.com/cmu-db/ottertune/wiki/Linux-Quick-Setup 2. ubuntu安装mysql https://www.linuxidc.com/Linux/2017-06/144805.htm 3. 创建数据库     在OtterTune服务器端，它需要一个数据库来存储所有网站数据。 您可能想在MySQL中创建一个数据库（如...
OtterTune配置记录
weixin_30654583的博客
05-22 209
0. 准备两台Ubuntu 18.04的虚拟机，安装mysql（供server-side存储调优数据用）和postgresql（供client-side存储业务数据用，这里以PostgreSQL为例。因为ottertune官方只给了postgres的knob configuration.....）。然后按照官方配置（https://github.com/cmu-db/ottertune/wiki/...
DBMS系统实现——C语言
06-24
在IT领域，数据库管理系统（DBMS）是至关重要的软件组件，它允许用户创建、查询、更新和管理数据存储。本文将深入探讨一个使用C语言实现的DBMS系统，这是一个典型的课程设计项目，虽然源代码中可能注释较少，但通过...
解决OtterTune部署时前端样式丢失的问题
哎呀牙刷子的博客
08-20 255
最近在尝试着自己部署一下OtterTune的项目，并且为以后魔改做做准备，但是在成功运行项目并且让Django的后端跑起来之后，发现前端的CSS样式丢失了，并且好多正常的功能也都没办法做。 因为OtterTune毕竟是17年的“老”项目了，所以首先尝试了安装17年的Chrome浏览器，发现不是浏览器的问题。迫不得已，打算自己修改项目代码。 后面发现问题主要出在ottertune/server/website/website/static/css/boo...
ottertune mysql_OtterTune源码解析
weixin_30290131的博客
01-19 355
为了方便后面对ottertune进行魔(hu)改(gao)，需要先搞清楚它的源码结构和pipelineOtterTune分为两大部分：server side: 包括一个MySQL数据库(用于存储调优数据，供ml model用)，Django(FrontEnd User Interface)，Celery(用于调度ML task)；client side: Target_DBMS(存储用户的业务数据...
linux安装otter需要用到的安装包，与otter的介绍
07-03
压缩包里面有：aria2-1.17.1.tar.gz，jdk-7u79-linux-x64.tar.gz，manager.deployer-4.2.13.tar.gz，node.deployer-4.2.13.tar.gz，zookeeper-3.4.5-cdh4.3.0.tar.gz，深入理解otter.pptx，otter4使用介绍.pptx
oltpbench：数据库基准测试框架
02-04
OLTPBench 标杆管理非常有用，但痛苦无穷。 该基准套件是一群博士/博士后/教授聚在一起并将他们的工作量/框架/经验/努力结合在一起的结果。 我们希望这将节省其他人的时间，并提供一个可扩展的平台，该平台可以以开源方式进行开发。 OLTPBenchmark是一个多线程负载生成器。 该框架旨在能够针对任何启用JDBC的关系数据库产生可变速率，可变混合负载。 该框架还提供了数据收集功能，例如，每个事务类型的延迟和吞吐量日志。 我们与该框架一起提供以下OLTP / Web基准测试： 维基百科 综合资源压力源 推特 Epinions.com SEATS（“ Stonebraker电子航空公
oltpbench, 数据库基准框架.zip
09-17
oltpbench, 数据库基准框架 OLTPBench 基准测试是非常有用的，但。 这个基准套件是一组 Phd/post-docs/professors 聚集并结合在一起的结果，希望这将节省人们的时间，并提供可以扩展的平台，可以以开放源码方式成长。OLTPBench
推荐开源项目：OtterTune - 智能数据库调优利器
gitblog_00076的博客
05-14 343
推荐开源项目：OtterTune - 智能数据库调优利器 项目地址:https://gitcode.com/cmu-db/ottertune OtterTune 是一个由卡内基梅隆大学数据库团队开发的创新工具，它旨在自动为数据库管理系统（DBMS）的配置参数找到最佳设置，使部署DBMS变得简单，无需深入的数据库管理知识。 1、项目介绍 OtterTune 的核心理念是减轻数据库管理员的压力，通过机...
【机器学习化DBMS】——A Demonstration of the OtterTune
汤庆
04-29 815
【原文信息】 B. Zhang, D. V. Aken, J. Wang, T. Dai, S. Jiang, J. Lao, S. Sheng, A. Pavlo, and G. J. Gordon, "A Demonstration of the OtterTune Automatic Database Management System Tuning Service,"PVLDB, vo...
【机器学习化DBMS】——ottertune源码
汤庆
02-27 844
一、前言 数据库管理系统（DBMS）是任何数据密集型应用程序中最重要的组件。它可以处理大量的数据和复杂的负载工作。但是却难以管理，因为它们具有数百个配置选项，用于控制诸如用于缓存的内存量以及将数据写入存储器等因素。企业经常聘请这方便的专家来协助管理，但是专家对许多企业来说成本太高。 OtterTune是由中的学生和研究人员开发的新工具，可以自动为DBMS的配置选项找到最好...
OtterTune 工作原理
weixin_34148456的博客
11-07 218
OtterTune 工作原理数据库管理系统（DBMS）是任何数据密集应用的关键部分。它们可以处理大量数据和复杂的工作负载，但同时也难以管理，因为有成百上千个“旋钮”（即配置变量）控制着各种要素，比如要使用多少内存做缓存和写入磁盘的频率。组织机构经常要雇佣专家来做调优，而专家对很多组织来说太过昂贵了。卡耐基梅隆大学数据库研究组的学生和研究人员在开发一个新的工具，名为 Otter...
Ottertune的源代码重点理解
m0_59158092的博客
04-10 360
ottertune是一个自动化的数据库管理系统(DBMS)配置工具，它可以根据数据库的工作负载和目标指标，为DBMS生成最优的配置参数。ottertune中的server部分负责接收和处理来自客户端的观测数据，以及运行机器学习算法来生成新的配置建议。simulation.py是server部分的一个模块，它用于模拟ottertune的工作流程，以便测试和评估不同的机器学习算法和策略。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值