见html中的一些奇怪的编码
http://www.w3school.com.cn/tags/html_ref_symbols.html
例如以下这么一串东西就是实体编码
小何很好啊!
如果一个html文本想把它去除html的tag,然后又把它转为系统可识别的编码(例如utf8)
以下python代码把它转为unicode,然后想转什么都可以了。
from HTMLParser import HTMLParser
def strip_tags(html):
html_parser = HTMLParser()
# remove format
#html = html.strip()
#html = html.strip("\n")
result=[]
html_parser.handle_data = result.append
html_parser.feed(html)
# transform entity to unicode
result = [html_parser.unescape(el) for el in result]
html_parser.close()
return "".join(result)