随手写的博客

Scrapy是一个从网上爬取数据的开源的、友好的框架。 An open source and collaborative framework for extracting the data from website. scrapy具有以下优点： 1. 快速强大 2. 容易扩展 3. 适应于多平台一个简单的爬虫下面这个爬虫爬取了stackoverflow问题页中的内容。stackoverfl

本篇介绍scrapy的命令行工具、重要组件和重要对象。scrapy 命令行工具 help：帮助信息（scrapy –help） version：版本信息，可以添加-v查看scrapy各个组件的信息（scrapy version -v） startproject：新建一个工程（scrapy startproject example） genspider：产生一个spider（scrapy genspi

本篇介绍scrapy的Logging模块、Stats Collections模块和Sending-email模块。Logging简单使用方法import logging logging.warning("This is a Warning")执行结果为： WARNING:root:This is a Warning 通用的记录日志的方法，可加入日志的级别import logging loggin

本篇介绍scrapy的使用步骤。scrapy是python的一个框架，可以通过安装python包的形式安装，必须先安装python。scrapy安装步骤 安装python2.7 安装pip 安装lxml（抽取数据） 安装OpenSSL（网页访问认证） 安装Scrapy 使用步骤 create a project define items write a spider write and config