爬虫里的问题:
1.因为表格里第一行是items的名称,不需要,因此使用if语句跳过第一个tr:
……
rows = response.css('.MsoNormalTable')[0].xpath('//tbody/tr')
a = 0
for r in rows:
if a == 0:
a = 1
continue #跳过第一个循环
item['qymc'] = r.xpath('td[1]/p/span/text()').extract()
……
2.控制台可显示items里的内容,数据库里却没有数据。经百度,原因在于爬下来的某些item的内容是断开的,分成了一块块的,为list类型,无法存入数据库。因此用join()的方法把他们变成一个string类型的字符串后再存入item:
item['qymc'] = r.xpath('td[1]/p/span/text()').extract()
item['jyfs'] = r.xpath('td[2]/p/span/text()').extract()
str2='、'.join(['%s' %i for i in r.xpath('td[3]/p/span/text()').extract()])
item['jyfw'