爬虫
道希
这个作者很懒,什么都没留下…
展开
-
scrapy实战二
背景 运营需求是需要爬取好大夫的数据,爬取路径如下: 第一级:抓取所有科室: 第二级:每个科室对应的好评科室 第三级:科室推荐专家第四级:推荐专家 第五级:专家信息 总结一下,就是最后要抓取的数据有: 科室 子科室 医院 科室介绍 专家 专家头像 职位 擅长 专家介绍 需求分析确定爬取路径: 1、首先抓取http://www.haodf.com/keshi原创 2016-01-15 12:11:16 · 1805 阅读 · 4 评论 -
scrapy实战一
scrapy是什么? “Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。”–官方说法。 个人理解:爬取网页数据,并将抓到的数据结构化,你只需关心你自己的爬取逻辑和页面数据的提取逻辑,其他的事情,框架都帮你做了。安装scrapyyum -y update yum groupinstall -y developme原创 2016-01-15 12:04:51 · 2766 阅读 · 0 评论