立即学习:https://edu.csdn.net/course/play/9882/209886?utm_source=blogtoedu
创建项目:
scrapy startproject demo
cd demo
scrapy genspider name fang.5i5j.com
先运行检验一下以上步骤:
scrapy crawl fang
获取标题信息hlist=response.css("div.houseList_list")
for vo in hlist:
item = FangItem()
item["title"]=vo.css("h3.fontS20 a::text").extract_first()
item["address"]=vo.css("span.addressName::text").extract_first()
item["time"]=vo.re("<span>(.*?)开盘</span>")[0]#获取的是列表取第一个值
print(vo.css("h3.fontS20 a::text").extract_first())
yield item
需要打开pipelines管道的注释
scrapy crawl fang -o fang.txt 另存为txt格式