百度新闻爬虫搜索引擎实战---爬虫篇（3）

爬虫部分

书接上回，我们讲到，要用elasticsearch来存储信息，那么我们首先就得安装elasticsearch。这里就不介绍了，默认已经装好elasticsearch，那我们就正式开始写爬虫了。

1. Scrapy创建爬虫项目

(baidunewsspider) C:\Users\LiTangMM\PycharmProjects>scrapy startproject baiduNewsSpider
(baidunewsspider) C:\Users\LiTangMM\PycharmProjects\baiduNewsSpider>scrapy genspider newsbaidu http://ne
ws.baidu.com/

终端显示如上就说明爬虫已经创建好了。

项目长这样。

2. 爬取新闻链接

2.1 定义字段

我们首先得告诉scrapy，我们要哪些数据，编辑baiduNewsSpider/items.py 文件：

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class BaidunewsspiderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    news_url = scrapy.Fileld()  # 新闻链接
    pass

pass 可以只是为了代码块完整性才加的，可以删除。

2.2 实现newsbaidu.py

OK！下面就是爬取了，修改baiduNewsSpider/spiders/newsbaidu.py文件

# -*- coding: utf-8 -*-
import scrapy
impor