一个增量数据同步数据的总结

需求:
1. 每日构建一批数据生成XML 。
2. 每10分钟读1条数据,每天最多读取144条。
3. 需要方便配置,合并数据。

1.代码:
qqxml.py
qqxml.conf
qqxml.conf是一个property。 key是相册对应的名字,value是QQ相册同步的起始ID

[board]
dress=30604683
scenery=30605417
diy=30599014
dessert=13950861
office=30599116
zakka=29930202
trave=12954996
chinese=21177698
jieke=14738565
tableware=10050474

2.启动方式

[admin@server9]$ python manage.py qqxml

3.日志记录


4.总结

1. 增量数据同步要考虑同步的index,刚开始按照日期,后来改成按照ID方式。
2. 发现部分message的图片path不正确,需要去beansdb验证一下。code:

from beansdb.dbclient import Beansdb
from xml.dom import minidom
import re
r = re.compile("http://\w*.duitang.com")
# three beansdb nodes on localhost
fs = Beansdb({"192.168.172.3:7700": range(16), "192.168.172.5:7700": range(16)}, 16)
url = "http://cdn.duitang.com/uploads/xxxx.jpg"
url = r.sub("media",url)
if type(fs.get(url)) is None or url=='#':
print 'error!===================='
展开阅读全文
©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值