Jock2018的博客

原创 【爬虫实战】Scrapy + xpath 爬取江西省 23 万+挂网药品数据

声明本爬虫仅供学习交流使用，请勿用作商业用途。爬取的时候注意控制速度，勿对网站造成攻击。1. 实现说明该政府网站没有任何反爬虫措施，直接抓取即可，注意不要对网站造成攻击。思路：通过 scrapy 抓取网页；利用 xpath 解析网页，提取药品信息；将提取的信息写入 csv 文件；观察网页结构，构造下一页 url;新的 url 重复 1-4 步。2. 一些细节说明主要参考文档：Scrapy 官方文档Scrapy 中 xpath 的使用使用的一些命令：创建一个 scrap