python多进程爬虫写入mysql_爬虫连接mongodb、多线程多进程的使用

一、连接mongodb

1、            设置数据库 client=pymongo.MongoClient(‘localhost’)

2、            db=client[‘lagou’]设置连接的数据库名称

POSITION_NAME=’’ 、PAGE_SUM 、PAGE_SIZE 等为你设置的变量名称。

3、DATA_NAME=’dataposition’   # # 指定数据库的名字

4、设置保存在mongo数据库中的数据：

def save_to_mongo(data):

if db[DATA_NAME].update({'positionId': data['positionId']}, {'$set': data}, True):

print('Saved to Mongo', data['positionId'])

else:

print('Saved to Mongo Failed', data['positionId'])

这是以positionId为唯一标识，如果数据库里面已经存在有positionId,说明数据已经爬过了，不再更新。

二、多进程设置和使用：

1、导入多进程：from multiprocessing import Pool

导入时间  import time

2、start_time = time.time()

pool = Pool()  # pool()参数：进程个数：默认的是电脑cpu的核的个数，如果要指定进程个数，这个进程个数要小于等于cpu的核数

# 第一个参数是一个函数体，不需要加括号，也不需指定参数。。

#  第二个参数是一个列表，列表中的每个参数都会传给那个函数体

pool.map(to_mongo_pool,[i for i in range(PAGE_SUM)])

# close它只是把进程池关闭

pool.close()

# join起到一个阻塞的作用，主进程要等待子进程运行完，才能接着往下运行

pool.join()

end_time = time.time()

print("总耗费时间%.2f秒" % (end_time - start_time))

to_mongo_pool:这个函数要设计好，就一个参数就够了，然后把它的参数放在列表里面，通过map高阶函数一次传给to_mongo_pool

多线程的使用：

多线程要配合队列使用：

# coding=utf-8importrequests