异步编程
when_september_ends
这个作者很懒,什么都没留下…
展开
-
多进程 多线程 异步 爬虫(1)
**多进程 多线程 异步 爬虫 忽略爬虫具体规则策略cookie登录等,专注高性能,高并发。**初步爬取煎蛋图片,存图片链接到mongodb#!/usr/bin/python #-*- coding: utf-8 -*- import os import json import functools import requests import urllib.request from urllib.原创 2017-05-29 20:54:29 · 1507 阅读 · 0 评论 -
多进程 多线程 异步 爬虫(2)
接上节多进程 多线程 异步 爬虫(1)asyncio文档 asyncio具体特性 Lock(锁)class AsyncAiohttp_Lock(AsyncAiohttp): def __init__(self): super(AsyncAiohttp_Lock,self).__init__() self._time_lock = LOCK_TIME原创 2017-05-29 21:15:16 · 479 阅读 · 0 评论