mysql大数据表导入导出

最新推荐文章于 2024-04-11 10:12:18 发布

chance87

最新推荐文章于 2024-04-11 10:12:18 发布

阅读量1.9k

点赞数

分类专栏：数据库文章标签： mysql 导入导出

本文链接：https://blog.csdn.net/chance87/article/details/17392189

版权

面对含有几亿条数据的MySQL分钟粒度流量分析表，传统的mysqldump工具无法胜任。通过编写特定的导出和加载脚本，如export_fig_app_flow_1.sh和load_fig_app_flow_1.sh，实现了大数据表的快速迁移，每个表的导入导出时间控制在两三分钟内，成功完成十几张大数据表的数据移植。

摘要由CSDN通过智能技术生成

客户那一台流量分析设备需要给更换成新设备，但要求保留之前的流量分析数据，查看了一下流量分析表情况，发现有几张分钟粒度的数据表数据量达到几亿条以上，数据库使用的是mysql，使用mysql 的导入导出工具mysqldump是没希望了，只能把几个大数据量的表挑出来单独处理，小数据量的表就用mysqldump搞定。

以fig_app_flow_1表为例，导出脚本如下

export_fig_app_flow_1.sh

#!/bin/sh

if [ "$#" -ne "1" ]

then

echo "please input outfile......"

exit

fi

export sqlstr="SELECT concat(CONCAT_WS('||::||',IFNULL(link_id,''),IFNULL(app_id,''),IFNULL(in_byte,''),IFNULL(out_byte, ''),IFNULL(in_pkt, ''),IFNULL(out_pkt, ''),IFNULL(in_bps, ''),IFNULL(out_bps, ''),IFNULL(capture_time, ''),'|#|#|#')) FROM fig_app_flow_1;"

echo -e `date "+%Y-%m-%d %H:%M:%S"` " begin exporting table fig_app_flow_1......"

mysql -uforceview -pforceview -D forceview -s -q -e "$sqlstr">$1

echo