分布式
Tools-lqp
这个作者很懒,什么都没留下…
展开
-
scrapy_redis分布式爬虫 从redis数据库写入MongoDB中
import redis import pymongo import json def process_item(): # 创建redis数据库连接 rediscli = redis.Redis(host = “127.0.0.1”, port = 6379, db = “0”) # 创建MongoDB数据库连接 mongocli = pymongo.MongoClie...原创 2018-02-24 13:47:35 · 1610 阅读 · 1 评论 -
scrapy_redis分布式爬虫 从redis写到mysql数据库中
import redis import MySQLdb import json def process_item(): # 创建redis数据库连接 rediscli = redis.Redis(host = “127.0.0.1”, port = 6379, db = 0) # 创建mysql数据库连接 mysqlcli = MySQLdb.connect(host ...原创 2018-02-24 13:57:48 · 2079 阅读 · 0 评论