使用PyCharm执行scrapy项目

使用PyCharm执行scrapy项目

1.首先使用命令创建一个scrapy项目

进入自定义项目目录中，运行下列命令：

scrapy startproject mySpider

里面会有

2.添加start.py文件

编写start.py里面的内容

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from scrapy import cmdline
#scrapy crawl itcast （itcast为爬虫名）
cmdline.execute("sscrapy crawl itcast".split())

3.打开PyCharm，配置项目

安装完后会出现这个

配置完后，测试一下：

在里面添加如下代码

代码：

# _*_ coding:utf-8 _*_

import scrapy

#创建一个爬虫类
class ItcastSpider(scrapy.Spider):
    #爬虫名
    name = "itcast"
    #允许爬虫作用范围
    allowd_domains = ["http://www.itcast.cn/"]
    #爬虫其实的url
    start_urls = ["http://www.itcast.cn/channel/teacher.shtml#"]

    def parse(self, response):
        print response.body

结果：