Scrapy
文章平均质量分 71
大数据分析BDA
Python及机器学习分享
展开
-
【Scrapy】Scrapy学习(一)——入门示例
Scrapy是web爬取和信息提取的框架。Scrapy使用的基本流程:创建工程、定义提取条目、编写爬虫并提取信息、编写Pipeline存储提取的字段。 一. 创建工程 转到程序工作空间,执行命令: scrapy startproject tutorial 创建后的工程目录结构为 tutorial/ scrapy.cfg 工程配置文件 tutorial/ 工程的Python模块 __原创 2014-11-11 22:26:29 · 2125 阅读 · 0 评论 -
【Scrapy】Scrapy学习(二)——基本概念
一. 命令行工具 ● 帮助命令 关于命令的帮助 scrapy -h 所有可用的命令 scrapy -h ● 命令分类 全局命令:startproject, settings, runspider, shell, fetch, view, version 工程相关的命令: crawl, check, list, edit, parse, genspider, deploy原创 2014-11-11 22:32:14 · 4715 阅读 · 0 评论 -
【干货】Scrapy安装配置
Scrapy是一个抓取web站点并从中提取结构化数据的开源程序框架,被应用于数据挖掘和信息处理等。本文主要介绍Scrapy及其依赖的安装过程(Windows系统)。原创 2014-10-18 23:18:16 · 3471 阅读 · 0 评论