数据库
孤城炎
这个作者很懒,什么都没留下…
展开
-
mysql的commit提交多条数据
mysql commit提交多条数据 # bbbb为主键字段或唯一索引字段 sql = 'INSERT INTO aaaa(bbbb)VALUES(%s);' cur.execute(sql % 31) conn.commit() for i in range(30, 35): time.sleep(1) try: # 当i=31时,这条数据提交不上去,其他数据能正常入库 cur.exe原创 2022-01-13 18:14:27 · 711 阅读 · 0 评论 -
mongo超百万数据时,插入数据时去重
pymongo超百万数据时,插入数据时去重做爬虫存数据库时都需要将数据去重刚开始我的数据量较少,去重的时候使用updata_oneimport hashlibimport pymongoclient = pymongo.MongoClient()db = client['text']item = {'id': '', 'url': 'https://www.baidu.com/'}# 对url进行MD5加密item['id'] = hashlib.md5(item['url'].enco原创 2020-11-07 11:58:47 · 529 阅读 · 0 评论 -
关于pymongo的find方法的错误总结
关于pymongo的find方法的错误总结当时我查询到数据后, 想要查看一下有多少条数据再遍历,但是遍历数据时总是不进入for循环, 代码如下:url_list = db['url'].find({}, {'_id': 0})url_list_len = len(list(url_list))for url in url_list: print(url)我用debug查看第一行数据, 发现数据很正常, 第二行也能输出数据库中的总数据量, 但是到第三行的时候, url_list中没有数据,原创 2020-11-03 16:41:05 · 2103 阅读 · 1 评论