RayMand168的博客

思路 url：http://wz.sun0769.com/political/index/supervise?page=0 目标：爬取全网的事件编号，标题，和详情页的编号，内容。 spider部分 import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from sunPro.items import SunproItem from sunPro.it

思路 网易新闻版块信息是静态加载，但是点进版块看具体的新闻，页面是动态加载的，所以需要采用selenium和scrapy相结合的思路进行爬取网站。 Spider代码 import scrapy from selenium import webdriver from wangyiPro.items import WangyiproItem class WangyiSpider(scrapy.Spider): name = 'wangyi' # allowed_domains = ['xx.c

五大核心件的作用 引擎（Scrapy） 用来处理整个系统的数据流，触发事务（框架核心） 调度器（Scheduler） 用来接收引擎发送过来的请求，压缩队列，并在引擎再次请求时返回，可以想象成 一个url队列，由它决定下一个抓取的网站，并有去重的功能。 下载器（Downloader） 用于下载内容，并将下载的内容返还给引擎（Scrapy），是建立在twisted这个高效异步模型上的 爬虫（Spider） 用于在特定的网页提取到信息，用户也可以从中提取到信息，让Scrapy继续抓取下一个网页 项目管道（Pipe