创建crawlspider爬虫 学习笔记

创建crawlspider爬虫

 新建项目 scrapy  project newtq

创建爬虫 scrapy genspider -t crawl 爬虫名 域名

相关参数说明：

scrapy shell 解析网址 在跟response.xpath('//div[@class="con today clearfix"]//div[@id="7d"]/ul/li')测试是语法是否正确及数据

导入from newtq.items import NewtqItem

 python 3.7 attempted relative import beyond top-level package(超出了顶层package进行相对导入)

改成绝对路径导入from newtq.items import NewtqItem