scrapy环境搭建

在ubuntu16.04下搭建scrapy环境

• 安装pip

sudo apt-get install python-pip

• 安装Scrapy需要的依赖库

sudo apt-get install python-dev
sudo apt-get install libevent-dev
sudo apt-get install libssl-dev

• 安装Scrapy

sudo pip install scrapy
scrapy version

使用scrapy创建项目

scrapy startproject douban

在spiders目录下创建”doubanspider.py”文件，内容如下：

# -*- coding: utf-8 -*-

import scrapy

class firstSpider(scrapy.Spider):
    name = "douban" # 爬虫的名字，执行时候使用
    start_urls = [
        "https://www.baidu.com" #需要爬去的url
    ]

        def parse(self, response):
        bodycontent = response.body # response获取网站的返回内容
        filename = response.url.split("/")[-1] + ".html"
        # 将bodycontent写入文件
        print 'Curent URL => ', filename
        file = open(filename, "w")
        file.write(bodycontent)
        file.close()

执行scrapy项目

在scrapy.cfg的同级目录下创建main.py,用来执行该scrapy项目，内容如下：

# coding:utf-8

from scrapy import cmdline

cmdline.execute("scrapy crawl douban".split())

在pycharm中执行main.py，此时控制台输出如下：

另外，在该项目根目录下，也可以看到下载好的网页内容文件

好了，搭建好scrapy环境之后，就可以正式考试我们的爬虫之旅了。 好运，好运，好运