scrapy
JK_城
所有的成长,都是因为站对了地方
展开
-
Scrapy入门文档,与实例解析(转的资料)
创建一个工程 [img]http://dl.iteye.com/upload/attachment/0063/5605/7abba411-ab62-3120-839e-8764299413c2.png[/img] 在你开始编写Scrapy的程序钱,你首先应该建立一个新的Scrapy工程.首先,进入你要创建工程的文件夹 scrapy startproject dmoz这样将会在dm...原创 2012-02-21 22:09:19 · 171 阅读 · 0 评论 -
(转载)scrapy三步曲scrapy的简介、安装与实例(python抓取的爬虫框架)
(原文地址:http://www.ddlive.org/?p=664) 实例,官方有个实例教程,算是比较简单了,然后后面有更详细的一项项解释,不过老实讲我还真是看不太懂,很多地方没有给出实例,所以我在网上找了一大堆资料后,弄了一个实例。现在列出来跟大家分享。 1.实例初级目标:从一个网站的列表页抓取文章列表,然后存入数据库中,数据库包括文章标题、链接、时间 首先生成一个项目:scrapy s...原创 2012-02-21 22:36:37 · 192 阅读 · 0 评论 -
Python抓取框架 Scrapy 的架构简介
最近在学Python,同时也在学如何使用python抓取数据,于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy,下面一起学习下Scrapy的架构,便于更好的使用这个工具。 一、概述 下图显示了Scrapy的大体架构,其中包含了它的主要组件及系统的数据处理流程(绿色箭头所示)。下面就来一个个解释每个组件的作用及数据的处理过程。 二、组件 1、Scrapy Engine...原创 2012-02-22 14:30:38 · 66 阅读 · 0 评论