python scrapy框架项目1-爬取静态网页

几天前初次接触python爬虫，从静态网页开始练习最后爬取优酷世界杯的相关评论并做出相关分析，在此记录一下

首先需要使用pip安装scrapy框架，安装过程不再赘述，其中可能会遇到一些需要c++类库的报错，在网上下载安装这些类库，重新安装即可。

第一个项目：爬取静态网站

这里选择了凤凰网的即时新闻http://2018.ifeng.com/listpage/111171/3/1/59053593/59054362/list.shtml

爬取这个页面的标题、摘要、图片链接、时间四个字段。

首先使用pycharm自带的命令窗口来执行

工具栏 --- View --- Toolwindows --- Terminal

在命令行中输入: scrapy genspider [爬虫名] [网址]生成爬虫文件

生成成功后会在spider文件夹里生成爬虫文件

# -*- coding: utf-8 -*-
import scrapy

class NewsSpider(scrapy.Spider):
    name = 'news'

    start_urls = ['http://2018.ifeng.com/listpage/111171/1/list.shtml/']

    def parse(self, response):