首先,我对此非常新,所以请准备好从我复制/粘贴来自各种来源的代码.
我希望能够删除任何scrapy返回的HTML代码.我已经将所有内容存储在MySQL中没有任何问题,但是我无法工作的东西就是删除了很多’< td>‘和其他html标签.我最初只使用/ text().extract()运行,但随机它会遇到以这种方式格式化的单元格:
TEXT Text Text Text Text没有一种模式,我可以在使用/文本之间选择,我正在寻找初学者可以实现的最简单的方法,将剥离所有这些.
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.loader import XPathItemLoader
from scrapy.contrib.loader.processor import Join, MapCompose
import html2text
from scraper.items import LivingSocialDeal
class CFBDVRB(BaseSpider):
name = "cfbdvrb"
allowed_domains = ["url"]
start_urls = [
"url",
]
deals_list_xpath = '//table[@class="tbl data-table"]/tbody/tr'
item_fields = {
'title': './/td[1]',
'link': './/td[2]',
'location': './/td[3]',
'original_price': './/td[4]',
'price': './/td[5]',
}
def parse(self, response):
selector = HtmlXPathSelector(response)
for deal in selector.xpath(self.deals_list_xpath):
loader = XPathItemLoader(LivingSocialDeal(), selector=deal)
# define processors
loader.default_input_processor = MapCompose(unicode.strip)
loader.default_output_processor = Join()
# iterate over fields and add xpaths to the loader
for field, xpath in self.item_fields.iteritems():
loader.add_xpath(field, xpath)
converter = html2text.HTML2Text()
converter.ignore_links = True
yield loader.load_item()
转换器= html2text是我最后一次尝试删除它,我不完全确定我正确实现它但它没有用.
提前感谢您提供的任何帮助,如果我遗漏了一些简单的快速搜索,我也会道歉.