限制sql文件执行频率

 

对于pxc, 为了避免流控, 可以在导入.sql文件时, 先对文件做处理

awk '1;NR%1000==0{print "select sleep(1);"}' xxx.sql > xxx_dba.sql

上面的命令每1000行增加一行select sleep(1);, 这样执行频率是1k/s

 

对于mysqldump产生的sql文件, 则需要在导出时指定

mysqldump --skip-extended-insert

每行一个insert语句, 之后再使用awk处理

 

使用pt-fifo-split

FLAT_FILE="/tmp/big_file.txt" FIFO_PATH="${FLAT_FILE}.fifo" LOAD_FILE="${FLAT_FILE}.load" CHUNK_SIZE=1000   # Split the file pt-fifo-split --force --lines ${CHUNK_SIZE} ${FLAT_FILE} --fifo ${FIFO_PATH} & # Sleep 10 seconds to assure ${FIFO_PATH} exists before entering loop sleep 10 while [ -e ${FIFO_PATH} ] do   # Write chunk to disk   cat ${FIFO_PATH} > ${LOAD_FILE}   # Load chunk into table   mysql --database=test \    --show-warnings \    -vv < ${LOAD_FILE}   sleep 1 done