- 博客(2)
- 收藏
- 关注
原创 python scrapy学习笔记(二)
先尝试爬去一个电影的详情页start_urls = ['https://www.80s.tw/movie/676']然后再response中提取我们需要的数据,为了方便调试我们可以调用scrapy shell将页面数据缓存下来,不用我们每次都去请求;按道理显示的是上面这样,会有一大段信息返回,这时候就可以直接在命令行中进行数据获取调试了,比如像这样这样我们就提取出我们需要的数据了。...
2018-07-07 16:05:35
169
原创 python scrapy学习笔记(一)
这是一个用来记录我学习scrapy的自用笔记新建项目命令: scrapy startproject articleScrapy #创建一个新的articleScrapy scrapy genspider movie https://www.80s.tw./movie/list/----g #创建爬取的py domain调试: 跟目录下新建文件main.py 在里面调用命令行方便...
2018-07-07 14:31:49
225
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人