html text全删,删除没有/ text（）。extract（）的HTML标记

首先，我对此非常陌生，所以请准备好从我复制/粘贴来自各种来源的代码。

我希望能够删除scrapy返回的任何HTML代码。我已经将所有内容存储在MySQL中而没有任何问题，但我无法开始工作的东西就是删除了很多＆＃39;＆lt; td＆gt;＆＃39;和其他html标签。我最初只使用/ text()。extract()运行，但随机地会遇到以这种方式格式化的单元格：

TEXT Text Text Text Text

我没有选择使用/ text或不使用的模式，我正在寻找初学者可以实现的最简单的方法来解决所有问题。

from scrapy.spider import BaseSpider

from scrapy.selector import HtmlXPathSelector

from scrapy.contrib.loader import XPathItemLoader

from scrapy.contrib.loader.processor import Join, MapCompose

import html2text

from scraper.items import LivingSocialDeal

class CFBDVRB(BaseSpider):

name = "cfbdvrb"

allowed_domains = ["url"]

start_urls = [

"url",

]

deals_list_xpath = '//table[@class="tbl data-table"]/tbody/tr'

item_fields = {

'title': './/td[1]',

'link': './/td[2]',

'location': './/td[3]',

'original_price': './/td[4]',

'price': './/td[5]',

}

def parse(self, response):

selector = HtmlXPathSelector(response)

for deal in selector.xpath(self.deals_list_xpath):

loader = XPathItemLoader(LivingSocialDeal(), selector=deal)

# define processors

loader.default_input_processor = MapCompose(unicode.strip)

loader.default_output_processor = Join()

# iterate over fields and add xpaths to the loader

for field, xpath in self.item_fields.iteritems():

loader.add_xpath(field, xpath)

converter = html2text.HTML2Text()

converter.ignore_links = True

yield loader.load_item()

converter = html2text是我最后一次尝试删除它的方式，我并不完全确定我是否正确实现了它但它没有工作。

提前感谢您提供的任何帮助，如果我错过了一些简单的快速搜索可能会让我感到抱歉，我也会道歉。