将抓取的结果保存到电子表格中,使用的是python的CSV库
所谓的CSV(逗号分隔值)格式是电子表格和数据库最常用的导入和导出格式。
尝试使用CSV格式进行标准化描述之前已经使用了很多年。该csv模块reader和writer对象读取和写入序列。
程序员还可以使用DictReader和DictWriter类以字典形式读取和写入数据。
简单的使用方式
一、读取
reader(iterable, dialect=‘excel’, *args, **kwargs)
该方法返回一个reader对象,该对象将遍历给定的iterable中的行。
默认情况下,从csv文件中读取的每一行都作为字符串列表返回,除非指定了quoting参数值为QUOTE_NONNUMERIC。
如果iterable是一个文件对象,则应该打开它newline='',避免空行
二、写入
writer(fileobj, dialect=‘excel’, *args, **kwargs)
将用户数据写入到指定的文件对象上,返回一个writer对象
写入方法:
writerow(rowdict): 将行数据写入到文件对象
writerows(rowdicts): 所有行数据写入到文件对象当中
参考链接:https://blog.csdn.net/y472360651/article/details/113972240
import csv
from lxml.html import fromstring
class CsvCallback:
def __init__(self):
self.writer = csv.writer(open('../data/countries_or_districts.csv','w'))
self.fields = ('area', 'population', 'iso', 'country_or_district', 'capital',
'continent', 'tld', 'currency_code', 'currency_name',
'phone', 'postal_code_format', 'postal_code_regex',
'languages', 'neighbours')
self.writer.writerow(self.fields)
def __call__(self, url, html):
tree = fromstring(html)
all_rows = []
for field in self.fields:
td = tree.xpath('//tr[@id="places_%s__row"]/td[@class="w2p_fw"]' % field)
if td:
all_rows.append(td[0].text_content())
if all_rows:
self.writer.writerow(all_rows)
这里采取的是用类的方式来封装,输入一般为url、html。注意内容是保存在父目录的data子目录下。