python
文章平均质量分 81
wfu
请用一段话来描述您自己
展开
-
Python抓取框架:Scrapy的架构
一、概述下图显示了Scrapy的大体架构,其中包含了它的主要组件及系统的数据处理流程(绿色箭头所示)。下面就来一个个解释每个组件的作用及数据的处理过程。二、组件1、Scrapy Engine(Scrapy引擎)Scrapy引擎是用来控制整个系统的数据处理流程,并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。2、Scheduler(调度)调度程序从Scrap转载 2012-05-04 16:45:23 · 650 阅读 · 0 评论 -
Python 简单的代理服务器
具备简单的管理功能,运行后 telnet localhost 9000 端口可以进行管理主要功能就是做包转发,如果有一个桥服务器,可以用来外网访问内网用,还是很管用的#/bin/env python 002#coding:utf-8 003 004i转载 2012-06-11 20:34:01 · 919 阅读 · 0 评论 -
Python网页爬虫
1:#! /usr/bin/env python# -*- coding: utf-8 -*-#filename:splider.py#author:wfu(fuweilin@hotmail.com)from spdUtility import PriorityQueue,Parserimport urllib2import sysimport osdef updat原创 2012-05-03 11:11:09 · 1350 阅读 · 0 评论