Scrapy
文章平均质量分 87
爱吃番茄的胖超人
这个作者很懒,什么都没留下…
展开
-
Scrapy入门(1)
前言 前期自己写过一些爬虫,都是用urllib、bs4等实现的,没有涉及到爬虫框架。这次准备系统的学习一下scrapy框架。 什么是Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数...原创 2018-04-13 21:05:17 · 353 阅读 · 0 评论 -
Scrapy入门(2)
调试 通常有两种方法对Scrapy项目进行调试,一种是通过scrapy.shell,另一种是通过IDE的Debug功能。这里介绍第二种。 运行环境 - 语言:python 3.6 - IDE: VS Code - 浏览器:Chrome scrapy shell 在命令行中输入 scrapy shell 【想要访问的页面url】 成功后会进入scrapy shell进行操作: ...原创 2018-04-24 18:49:30 · 341 阅读 · 0 评论