#! /usr/bin/python
# -*- coding:utf-8 -*-
'''
created on 2013-12-18
@author: java
'''
import re
from htmlparser import htmlparser
class filtertag():
def __init__(self):
pass
def filterhtmltag(self,htmlstr):
'''
过滤html中的标签
:param htmlstr:html字符串 或是网页源码
'''
self.htmlstr = htmlstr
#先过滤cdata
re_cdata=re.compile('//]*//\]\]>',re.i) #匹配cdata
re_script=re.compile(']*>[^',re.i)#script
re_style=re.compile(']*>[^',re.i)#style
re_br=re.compile('
')#处理换行
re_h=re.compile(']*>')#html标签
re_comment=re.compile(']*-->')#html注释
s=re_cdata.sub('',htmlstr)#去掉cdata
s=re_script.sub('',s) #去掉script
s=re_style.sub('',s)#去掉style
s=re_br.sub('\n',s)#将br转换为换行
blank_line=re.compile('\n+')#去掉多余的空行
s = blank_line.sub('\n',s)
s=re_h.sub('',s) #去掉html 标签
s=re_comment.sub('',s)#去掉html注释
#去掉多余的空行
blank_line=re.compile('\n+')
s=blank_line.sub('\n',s)
filtertag = filtertag()
s=filtertag.replacecharentity(s)#替换实体
print s
def replacecharentity(self,htmlstr):
'''
替换html中常用的字符实体
使用正常的字符替换html中特殊的字符实体
可以添加新的字符实体到char_entities 中
char_entities是一个字典前面是特殊字符实体 后面是其对应的正常字符
:param htmlstr:
'''
self.htmlstr = htmlstr
char_entities={'nbsp':' ','160':' ',
'lt':'','62':'>',
'amp':'&','38':'&',
'quot':'"','34':'"',}
re_charentity=re.compile(r'?(?p\w+);')
sz=re_charentity.search(htmlstr)
while sz:
entity=sz.group()#entity全称,如>
key=sz.group('name')#去除&;后的字符如(" "--->key = "nbsp") 去除&;后entity,如>为gt
try:
htmlstr= re_charentity.sub(char_entities[key],htmlstr,1)
sz=re_charentity.search(htmlstr)
except keyerror:
#以空串代替
htmlstr=re_charentity.sub('',htmlstr,1)
sz=re_charentity.search(htmlstr)
return htmlstr
def replace(self,s,re_exp,repl_string):
return re_exp.sub(repl_string)
def strip_tags(self,htmlstr):
'''
使用htmlparser进行html标签过滤
:param htmlstr:
'''
self.htmlstr = htmlstr
htmlstr = htmlstr.strip()
htmlstr = htmlstr.strip("\n")
result = []
parser = htmlparser()
parser.handle_data = result.append
parser.feed(htmlstr)
parser.close()
return ''.join(result)
def striptagsimple(self,htmlstr):
'''
最简单的过滤html 标签的方法 注意必须是 而不能单纯是
:param htmlstr:
'''
self.htmlstr = htmlstr
# dr =re.compile(r']+>',re.s)
dr = re.compile(r']*>',re.s)
htmlstr =re.sub(dr,'',htmlstr)
return htmlstr
if __name__=='__main__':
# s = file('google.html').read()
filters = filtertag()
print filters.striptagsimple("你好")
如您对本文有疑问或者有任何想说的,请点击进行留言回复,万千网友为您解惑!