sosotest--自动化测试平台环境离线搭建(一)

目录

1.背景

2. 简介

3.环境准备

4.工具下载地址

5.环境搭建

A.操作系统的安装

B.MySQL的安装

附录一:问题记录

附录二:参考资料


1.背景

近期研究了一下sosotest自动化测试平台,整个环境的搭建花费了一些力气(公司不能上外网,只能手动搬运必要组件进行安装)。

这期间也踩了不少坑,所以给这“艰辛”的过程做个记录。

2. 简介

sosotest测试平台是贝壳找房公司的一个简易但功能强大的自动化测试平台。其提供的主要功能包括:

  • http接口、dubbo接口的测试。(其他类型类型接口测试可通过二次开发支持)
  • 支持多环境、多服务配置
  • 支持数据业务分离
  • 支持数据驱动
  • 支持mock
  • 支持CI
  • 支持自定义封装
  • 支持mysql数据库操作、redis操作、mongo操作、kafka等
  • 分布式任务处理,可并发支持多任务

详细介绍请参考:https://github.com/truelovesdu/sosotest_docs/blob/master/README.md

3.环境准备

环境配置
硬件

CPU:8*1

内存:32G

硬盘:200G

操作系统CentOS7
软件

MySQL:5.7.22

Redis:4.0.11

Python:3.6.8

4.工具下载地址

MySQL:https://downloads.mysql.com/archives/community/

Redis:http://download.redis.io/releases/

sosotest:https://github.com/truelovesdu/sosotest

5.环境搭建

整个环境的搭建整体分为四大部分:MySQL、Redis和sosotest的安装、sosotest的配置和启动。

环境搭建过程是离线搭建,yum源使用了公司内部源。所以有部分操作会直接yum install进行。

A.操作系统的安装

这里使用CentOS7的操作系统。查看操作系统和内核信息的命令如下:

# 查看当前操作系统版本信息
# cat /proc/version

# 查看当前操作系统内核信息
# uname -a

B.MySQL的安装

1)卸载原有的mariadb

# rpm -qa | grep mariadb
# rpm -e --nodeps 文件名                  # 文件名即为上一步的输出

2)为mysql创建用户

# groupadd mysql                               # 添加mysql用户组
# useradd -g mysql mysql -d /home/mysql        # 添加mysql用户
# passwd mysql                                 # 修改mysql用户的登录密码

3)为mysql创建工作目录。这些目录在配置文件my.cnf会用到。

# mkdir -p /home/mysql/data                    # 存放数据
# mkdir -p /home/mysql/log                     # 存放日志
# mkdir -p /home/mysql/tmp                     # 临时文件目录

4)解压MySQL的安装包,并将解压后的文件拷贝到文件夹/usr/local目录下

# tar -zxvf mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz
# mv mysql-5.7.22-linux-glibc2.12-x86_64 /usr/local/mysql
# cd /usr/local
# chown -R mysql:mysql mysql/

5)创建配置文件

# vim /etc/my.cnf

参考配置文件如下:

[client]                                        # 客户端设置,即客户端默认的连接参数
port = 3306                                     # 默认连接端口
socket = /home/mysql/tmp/mysql.sock             # 用于本地连接的socket套接字,mysqld守护进程生成了这个文件
 
[mysqld]                                        # 服务端基本设置
# 基础设置
server-id = 1                                   # Mysql服务的唯一编号 每个mysql服务Id需唯一
port = 3306                                     # MySQL监听端口
basedir = /usr/local/mysql                      # MySQL安装根目录
datadir = /home/mysql/data                 	# MySQL数据文件所在位置
tmpdir  = /home/mysql/tmp                  	# 临时目录,比如load data infile会用到
socket = /home/mysql/tmp/mysql.sock        	# 为MySQL客户端程序和服务器之间的本地通讯指定一个套接字文件
pid-file = /home/mysql/log/mysql.pid       	# pid文件所在目录
skip_name_resolve = 1                           # 只能用IP地址检查客户端的登录,不用主机名
character-set-server = utf8mb4                  # 数据库默认字符集,主流字符集支持一些特殊表情符号(特殊表情符占用4个字节)
transaction_isolation = READ-COMMITTED          # 事务隔离级别,默认为可重复读,MySQL默认可重复读级别
collation-server = utf8mb4_general_ci           # 数据库字符集对应一些排序等规则,注意要和character-set-server对应
init_connect='SET NAMES utf8mb4'                # 设置client连接mysql时的字符集,防止乱码
lower_case_table_names = 1                      # 是否对sql语句大小写敏感,1表示不敏感
max_connections = 400                           # 最大连接数
max_connect_errors = 1000                       # 最大错误连接数
explicit_defaults_for_timestamp = true          # TIMESTAMP如果没有显示声明NOT NULL,允许NULL值
max_allowed_packet = 128M                       # SQL数据包发送的大小,如果有BLOB对象建议修改成1G
interactive_timeout = 1800                      # MySQL连接闲置超过一定时间后(单位:秒)将会被强行关闭
wait_timeout = 1800                             # MySQL默认的wait_timeout值为8个小时, interactive_timeout参数需要同时配置才能生效
tmp_table_size = 16M                            # 内部内存临时表的最大值 ,设置成128M;比如大数据量的group by ,order by时可能用到临时表;超过了这个值将写入磁盘,系统IO压力增大
max_heap_table_size = 128M                      # 定义了用户可以创建的内存表(memory table)的大小
query_cache_size = 0                            # 禁用mysql的缓存查询结果集功能;后期根据业务情况测试决定是否开启;大部分情况下关闭下面两项
query_cache_type = 0
 
# 用户进程分配到的内存设置,每个session将会分配参数设置的内存大小
read_buffer_size = 2M                           # MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区,MySQL会为它分配一段内存缓冲区。
read_rnd_buffer_size = 8M                       # MySQL的随机读缓冲区大小
sort_buffer_size = 8M                           # MySQL执行排序使用的缓冲大小
binlog_cache_size = 1M                          # 一个事务,在没有提交的时候,产生的日志,记录到Cache中;等到事务提交需要提交的时候,则把日志持久化到磁盘。默认binlog_cache_size大小32K
 
back_log = 130                                  # 在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中;官方建议back_log = 50 + (max_connections / 5),封顶数为900
 
# 日志设置
log_error = /home/mysql/log/error.log           # 数据库错误日志文件
slow_query_log = 1                              # 慢查询sql日志设置
long_query_time = 1                             # 慢查询时间;超过1秒则为慢查询
slow_query_log_file = /home/mysql/log/slow.log  # 慢查询日志文件
log_queries_not_using_indexes = 1               # 检查未使用到索引的sql
log_throttle_queries_not_using_indexes = 5      # 用来表示每分钟允许记录到slow log的且未使用索引的SQL语句次数。该值默认为0,表示没有限制
min_examined_row_limit = 100                    # 检索的行数必须达到此值才可被记为慢查询,查询检查返回少于该参数指定行的SQL不被记录到慢查询日志
expire_logs_days = 5                            # MySQL binlog日志文件保存的过期时间,过期后自动删除
 
# 主从复制设置
log-bin = mysql-bin                             # 开启mysql binlog功能
binlog_format = ROW                             # binlog记录内容的方式,记录被操作的每一行
binlog_row_image = minimal                      # 对于binlog_format = ROW模式时,减少记录日志的内容,只记录受影响的列
 
# Innodb设置
innodb_open_files = 500                         # 限制Innodb能打开的表的数据,如果库里的表特别多的情况,请增加这个。这个值默认是300
innodb_buffer_pool_size = 64M                   # InnoDB使用一个缓冲池来保存索引和原始数据,一般设置物理存储的60% ~ 70%;这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少
innodb_log_buffer_size = 2M                     # 此参数确定写日志文件所用的内存大小,以M为单位。缓冲区更大能提高性能,但意外的故障将会丢失数据。MySQL开发人员建议设置为1-8M之间
innodb_flush_method = O_DIRECT                  # O_DIRECT减少操作系统级别VFS的缓存和Innodb本身的buffer缓存之间的冲突
innodb_write_io_threads = 4                     # CPU多核处理能力设置,根据读,写比例进行调整
innodb_read_io_threads = 4
innodb_lock_wait_timeout = 120                  # InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。InnoDB用LOCK TABLES语句注意到锁定设置。默认值是50秒
innodb_log_file_size = 32M                      # 此参数确定数据日志文件的大小,更大的设置可以提高性能,但也会增加恢复故障数据库所需的时间

6)安装数据库

# cd /usr/local/mysql/bin
# ./mysql --initialize --user=mysql

安装完成后,会在/home/mysql/log(前面步骤配置的日志文件目录)下生产一个error.log文件,这里记录了root用户的临时密码。

7)设置开机自启动服务

# cd /usr/local/mysql                                            # 工作目录
# cp ./support-files/mysql.server /etc/rc.d/init.d/mysqld        # 复制启动脚本到资源目录
# chmod +x /etc/rc.d/init.d/mysqld                               # 增加mysqld服务控制脚本执行权限
# chkconfig --add mysqld                                         # 将mysqld服务加入到系统服务
# chkconfig --list mysqld                                        # 检查mysqld服务是否已经生效
# service mysqld start                                           # 启动mysql

8)修改root密码

# mysql -uroot -p
# set password for root@localhost=password("123456");

9)创建数据库

CREATE DATABASE sosotest_data DEFAULT CHARACTER SET utf8mb4 collate utf8mb4_unicode_ci;

附录一:问题记录

安装过程中由于用户那步跳过了,导致出现了这样的报错:

Starting MySQL. ERROR! The server quit without updating PID file (/home/mysql/log/mysql.pid)。

这里可以参考这个进行修复操作:https://www.interserver.net/tips/kb/mysql-error-server-quit-without-updating-pid-file/

附录二:参考资料

https://www.cnblogs.com/crazycode2/p/11154786.html

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值