python
乖乖丶你真秀
这个作者很懒,什么都没留下…
展开
-
python scrapy学习笔记(一)
这是一个用来记录我学习scrapy的自用笔记新建项目命令: scrapy startproject articleScrapy #创建一个新的articleScrapy scrapy genspider movie https://www.80s.tw./movie/list/----g #创建爬取的py domain调试: 跟目录下新建文件main.py 在里面调用命令行方便...原创 2018-07-07 14:31:49 · 225 阅读 · 0 评论 -
python scrapy学习笔记(二)
先尝试爬去一个电影的详情页start_urls = ['https://www.80s.tw/movie/676']然后再response中提取我们需要的数据,为了方便调试我们可以调用scrapy shell将页面数据缓存下来,不用我们每次都去请求;按道理显示的是上面这样,会有一大段信息返回,这时候就可以直接在命令行中进行数据获取调试了,比如像这样这样我们就提取出我们需要的数据了。...原创 2018-07-07 16:05:35 · 169 阅读 · 0 评论