使用Scrapy对新闻进行爬虫(二)

原创 2016年08月29日 04:27:05

Scrapy Item学习笔记

scrapy框架下的Item用于定义抓取的数据内容。实现从非结构化数据(网页)中提取结构化数据时,结构化数据所用的数据结构即为该item(Scrapy.Item)

执行方式

声明一个item类,scrapy导入该模块并使用item实例来存储结构化数据。
所有数据的类型Field实际是一个dict的别名而已。
开发者创建item类只需关注一点:1.需要从网站中抓取哪些数据(采用变量名标志)。

例子(dmoz网站资源数据和news新闻数据)

1.文件:items.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class DmozItem(scrapy.Item):
    """
    define the fields for your item here like.
    for crawl dmoz items
    """
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

class NewsItem(scrapy.Item):
    """
    define the fields for news
    for crawl news items
    """
    url = scrapy.Field()
    source = scrapy.Field()
    title = scrapy.Field()
    editor = scrapy.Field()
    time = scrapy.Field()
    content = scrapy.Field()

2.抓取spider模块导入item类并使用

from NewsSpiderMan.items import NewsItem

使用到的代码片段:

class NewsSpider(CrawlSpider):
    def parse_news(response):
        item = NewsItem()
        item['url'] = [response.url]
        item['source'] =\
            response.xpath('//a[@id="ne_article_source"]/text()').\
            extract()
        item['title'] =\
            response.xpath('//div[@class="post_content_main"]/h1/text()').\
            extract()
        item['editor'] =\
            response.xpath('//span[@class="ep-editor"]/text()').\
             extract()
        item['time'] =\
            response.xpath('//div[@class="post_time_source"]/text()').\
             extract()
        item['content'] =\
            response.xpath('//div[@class="post_text"]/p/text()').\
            extract()
        for key in item:
            for data in item[key]:
                log.msg("item %s value %s" % (key, data))
        return item

Item Loaders类

拥用更加灵活、高效的API来让spider模块对item进行数据填充,更好的对网站数据的解析并填入item项。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

使用Scrapy对新闻进行爬虫(一)

Scrapy Item Pipeline学习笔记Item Pipeline 主要用于从网页抓取(spider)后对数据Item进行收集,写入数据库或文件中。执行方式spider 在获得item后,会传...

文本分类(二):scrapy爬取网易新闻

在数据挖掘课程中,老师布置了文本分类的作业。文本分类的第一项应该就是获取文本了吧。 在木有弄懂scrapy的情况下写的,纯应用,或许后续会补上scrapy的原理。 首先说一下我的环境:ubuntu14...

网络爬虫框架scrapy介绍及应用——抓取新浪新闻的标题内容评论

网络爬虫框架scrapy介绍及应用——抓取新浪新闻的标题内容评论

使用Scrapy对新闻进行爬虫(零)

Scrapy学习笔记目标使用Scrapy爬虫框架对获取网站新闻数据。爬虫目标网站:http://tech.163.com 提取内容: url 新闻地址 source 新闻来源 tit...

使用scrapy进行大规模抓取(二)

这是接着之前的(一)写的,上一篇里主要是写了一些解决性能问题的思路。时间过去快半年了,我们抓取的页面也不止百万了。我们在爬虫上也做了一些小改进,比如改善了链接提取器,(一)里提到的四个问题也都有不同程...

Scrapy爬取中国日报新闻--( 二 )

中国日报网页分析    如图所示,中国日报上的子栏目、子栏目分类、新闻主要分成以下三种格式,如果要按照平常的方式进行爬取,因为没有规律可寻,所以实现起来十分困难。    但是我们可以发现即使新闻的...

二.scrapy抓取百度新闻排行榜,并且推送到指定邮箱

#encoding=utf-8 import scrapy import requests from pymongo import MongoClient from ..items import Fi...

python爬虫(16)使用scrapy框架爬取顶点小说网

本文以scrapy 框架来爬取整个顶点小说网的小说

Python 爬虫 正则抽取网页数据和Scrapy简单使用

Python新手 前些天看了一些基本语法发现继续看下去效果甚微(枯(ji)燥(mo)了) 知乎上面的大神 都说爬虫 那我就从爬虫开始实践学习吧 先从简单的静态的一个页面开始干什么都得按照套路来 ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)