scrapy爬取链接

近期因为工作需要，开始学习和写爬虫，学习到了很多内容，就整理了一下发上来。

需求

这里爬虫的目的是检测网站的漏洞，因此希望做成类似于burpSuit的历史记录一样的。

初步需求是简单地爬取网站的链接，去重，尝试绕过反爬虫。

更进一步的是希望像burpsuit一样记录网站的各个连接请求，从而获取到更全面的信息。

网址爬虫

简单的采用urllib之类的也是可以完成爬虫的，不过为了后续操作方便，还是学习了一下scrapy框架。

关于框架的内容可以移步 http://www.jianshu.com/p/a8aad3bf4dc4 学习一下。

以及scrapy的文档 http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html

首先下载安装scrapy：

 sudo pip install scrapy

出现错误：

'module' object has no attribute 'OP_NO_TLSv1_1'

可以用下面几个命令

sudo pip install --upgrade scrapy
sudo pip install --upgrade twisted
sudo pip install --upgrade pyopenssl

查看一下scrapy的指令：

Scrapy 1.4.0 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from proj