qq_56624191的博客

python 爬虫中的crawlspider案例（以下载读书网数据为列） 利用scrapy中带的管道存储数据 一.打开``命令行 注意：运行scrapy的项目时需要在venv的目录下创建（我自己尝试的是，在其他地方无法调用一些库，个人所测是） scrapy startproject scrapy_dushuwang_3 #创建项目 cd \scrapy_dushuwang_3\scrapy_dushuwang_3\spiders #跳转到spiders路径 scrapy genspider -

关于scrapy的一小部分（链接提取） 以下过程在命令行中进行（win+R,输入cmd) 1.进入装有scrapy的磁盘中 2. scrapy shell 要爬取的网址 from scrapy.linkextractors import LinkExtractor link = LinkExtractor(allow=r'/book/1222_\d+\.html') link.extract_links(response) 3. link1=LinkExtractor(restrict_xpath