家里网络不好,备份服务器上几G的数据并下载回来极其痛苦(这还是压缩过的)。于是我想把数据备份上传到AmazonS3上,一来Linode到Amazon网速应该不是问题;二来,“Cloud
Storage”也要比我的笔记本硬盘更靠得住。
科普一下:
S3 = Simple Storage Service。是由Amazon提供的在线存储服务。
我使用了ruby下的s3sync作为与Amazon交互的客户端,并写了一个shell脚本对它进行了简单包装。脚本用法很简单:
./backup_mysql_and_sync_s3.sh dbname1 [ dbname2 ...]
只要在参数中指明数据库名,就会自动将数据库内容用mysqldump导出并压缩,然后上传到S3中。下面详述一下脚本的获取和配置,搞定之后备份东西很轻松。
0. 环境依赖
依赖于ruby。Dreamhost上面自己有ruby,如果在用Linode而且是Debian系列,可以apt-get install
ruby装上。
需要有Amazon
AWS账号。脚本需要使用AWS_ACCESS_KEY_ID/AWS_SECRET_ACCESS_KEY进行身份验证。
1. 获得s3sync-s3cmd,创建bucket
svn checkout \
http://s3sync-s3cmd.googlecode.com/svn/trunk/ \
s3sync-s3cmd
cd s3sync-s3cmd/s3sync
export AWS_ACCESS_KEY_ID="your_access_key_id"
export AWS_SECRET_ACCESS_KEY="your_serect_access_key"
ruby s3cmd.rb createbucket bucket_name
如果一切正常,创建操作不会有任何返回。出错时会有相应提示。
此处需记下s3cmd.rb的位置、以及创建的bucket_name,备用。
2. 获得shell脚本,修改配置
脚本地址在此处,可以直接用下方shell脚本获得并解压。
wget http://www.blogkid.net/wp-content/uploads\
/2010/02/backup_mysql_and_sync_s3.zip
unzip backup_mysql_and_sync_s3.zip
chmod +x backup_mysql_and_sync_s3.sh
打开backup_mysql_and_sync_s3.sh。修改下方这些配置:
exportAWS_ACCESS_KEY_ID="your_access_key_id"
exportAWS_SECRET_ACCESS_KEY="your_serect_access_key"
BUCKET_NAME="you_bucket_name"
PATH_TO_S3SYNC="path_to_s3sync"
MYSQL_USER="your_db_user"
MYSQL_PASSWD="your_db_passwd"
MYSQL_PASSWD可以留空,这样的话运行时需要自己输入。
如有必要,还可以修改MYSQL_HOST和MYSQL_PORT。比如在Dreamhost上,MYSQL_HOST就不是localhost。
做好配置后,就可以试着运行一下。想备份哪个db,只要输入数据库名即可,指哪打哪。当然,也不要滥用,免得Amazon账单不留情。
如果想作为crontab任务,建议用mutt把运行结果发送到邮箱。命令大致如下:
./backup_mysql_and_sync_s3.sh \
dbname1 dbname2 | /usr/bin/mutt \
-s "backup mail notification" zhanglei909(at)gmail.com
延伸阅读:
UPDATE:
车东在他的文章中说,从国内备份到国外,每天可以备份1G左右。但在Linode服务器上,这个速度是3M每秒。在我的测试中,一个900M的文件,传输到S3花费的时间甚至小于生成此文件的时间。