【Python】python爬虫获取腾讯新闻正文标题内容-源码

python爬虫获取腾讯新闻正文标题内容

1. [文件] downloadhtm2txt.py ~ 3KB

#coding=utf-8
import urllib2
import re
import os
 
#this function from internet @littlebai
 
#去掉特征字符串内的html操作符
def filter_tags(htmlstr):
   re_cdata=re.compile('//<!\[CDATA\[[^>]*//\]\]>',re.I) #匹配CDATA
   re_script=re.compile('<\s*script[^>]*>[^<]*<\s*/\s*script\s*>',re.I)#Script
   re_style=re.compile('<\s*style[^>]*>[^<]*<\s*/\s*style\s*>',re.I)#style
   re_p=re.compile('<P\s*?/?>')#处理换行
   re_h=re.compile('</?\w+[^>]*>')#HTML标签
   re_comment=re.compile('<!--[^>]*-->')#HTML注释
   s=re_cdata.sub('',htmlstr)#去掉CDATA
   s=re_script.sub('',s) #去掉SCRIPT
   s=re_style.sub('',s)#去掉style
   s=re_p.sub('\r\n',s)#将<p>转换为换行
   s=re_h.sub('