爬虫入门（六）保存爬取内容

将抓取的结果保存到电子表格中，使用的是python的CSV库
 

所谓的CSV（逗号分隔值）格式是电子表格和数据库最常用的导入和导出格式。
尝试使用CSV格式进行标准化描述之前已经使用了很多年。该csv模块reader和writer对象读取和写入序列。
程序员还可以使用DictReader和DictWriter类以字典形式读取和写入数据。

简单的使用方式

一、读取
reader(iterable, dialect=‘excel’, *args, **kwargs)

该方法返回一个reader对象，该对象将遍历给定的iterable中的行。
默认情况下，从csv文件中读取的每一行都作为字符串列表返回，除非指定了quoting参数值为QUOTE_NONNUMERIC。
如果iterable是一个文件对象，则应该打开它newline=''，避免空行

二、写入
writer(fileobj, dialect=‘excel’, *args, **kwargs)
将用户数据写入到指定的文件对象上，返回一个writer对象
写入方法：
    writerow(rowdict): 将行数据写入到文件对象
    writerows(rowdicts): 所有行数据写入到文件对象当中
参考链接：https://blog.csdn.net/y472360651/article/details/113972240

import csv
from lxml.html import fromstring
class CsvCallback:
    def __init__(self):
        self.writer = csv.writer(open('../data/countries_or_districts.csv','w'))
        self.fields = ('area', 'population', 'iso', 'country_or_district', 'capital',
                       'continent', 'tld', 'currency_code', 'currency_name',
                       'phone', 'postal_code_format', 'postal_code_regex',
                       'languages', 'neighbours')
        self.writer.writerow(self.fields)
    def __call__(self, url, html):
        tree = fromstring(html)
        all_rows = []
        for field in self.fields:
            td = tree.xpath('//tr[@id="places_%s__row"]/td[@class="w2p_fw"]' % field)
            if td:
                all_rows.append(td[0].text_content())
        if all_rows:
            self.writer.writerow(all_rows)

这里采取的是用类的方式来封装，输入一般为url、html。注意内容是保存在父目录的data子目录下。