爬虫中进行数据清洗

一般而言,存入数据库中的数据都要进行清洗,但是在解析页面中对数据清洗比较麻烦而且杂乱,对于这种情况scrapy中的scrapy.loader可以很好的解决。
以下是一段数据清洗的代码
首先是解析页面:

import scrapy
from scrapy import Request
from scrpy_item.items import CountryItem,CountryItemLoader

class CitySpider(scrapy.Spider):
    name = 'city'
    allowed_domains = ['example.com']
    def __init__(self):
        self.urls = ['http://example.webscraping.com/places/default/view/China-47']

def start_requests(self):
        for url_str in self.urls:
            yield Request(url_str,callback=self.parse,dont_filter=True)

    def parse(self, response):
        item = CountryItemLoader(item=CountryItem(),response=response)
        #添加相应字段的解析规则
        item.add_css('title','tr#places_country__row td.w2p_fw::text')
        #item.add_xpath
        item.add_css('population','tr#places_population__row td.w2p_fw::text')
        item.add_css(&#
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值