python 多进程爬虫
top_beyond
自动化工程师正在向爬虫进军
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
一.BeautifulSoup 多进程抓取智联招聘信息,并且存储到mongodb
# coding:utf-8 import re import requests import urllib2 import datetime from bs4 import BeautifulSoup from pymongo import MongoClient from multiprocessing import Pool #开启数据库 cn=MongoClient('localhost原创 2017-06-30 11:54:47 · 1004 阅读 · 0 评论 -
一.多进程爬取百思不得姐图片
#coding:utf-8 import requests from requests.exceptions import HTTPError, ConnectionError import re import os,time from multiprocessing import Process,JoinableQueue class get_Url(): def __init__(se原创 2017-06-30 13:35:33 · 946 阅读 · 0 评论 -
二.python 多进程总结
一.多进程 def 1. import time import multiprocessing def run(data): print time.ctime(time.time()) print data if __name__=='__main__': p1=multiprocessing.Process(target=run,args=('11',))原创 2017-07-04 17:28:28 · 740 阅读 · 0 评论
分享