![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scrapy
HQ_JSY
python
展开
-
Scrapy—框架简介和基础应用
一、什么是scrapy? scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框。它集成了各种功能(高性能异步下载、队列、分布式、解析、持久化等)的具有很强通用性的项目模板。二、基础使用1. 创建项目 scrapy startproject 项目名称# 项目结构介绍project_name/ scrapy.cfg: proj...原创 2019-03-22 21:54:13 · 324 阅读 · 0 评论 -
Scrapy—第一个scrapy程序
一、spider文件编写 执行完scrapy genspider 应用名称 爬取网页的起始url 例如:scrapy genspider qiubai www.qiushibaike.com)会在spiders文件夹产生一个和应用同名的.py文件# -*- coding: utf-8 -*-import scrapyclass QiubaiSpider(scrapy....原创 2019-03-22 22:03:33 · 358 阅读 · 0 评论 -
Scrapy—注意点
1. 创建项目 scrapy startproject 项目名称2. 创建爬虫程序 cd project_name(进入项目目录) scrapy genspider 应用名称 爬取网页的起始url (例如:scrapy genspider qiubai www.qiushibaike.com)3. 执行爬虫程序 scrapy crawl 爬虫名称...原创 2019-03-22 22:12:24 · 308 阅读 · 0 评论