python抽取指定url页面的title

最新推荐文章于 2022-04-18 19:30:00 发布

Together_CZ

最新推荐文章于 2022-04-18 19:30:00 发布

阅读量1.5w

点赞数 2

分类专栏： python实践

本文链接：https://blog.csdn.net/together_cz/article/details/59109044

版权

python实践专栏收录该内容

320 篇文章 88 订阅

订阅专栏

今天简单使用了一下python的re模块和lxml模块，分别利用的它们提供的正则表达式和xpath来解析页面源码从中提取所需的title，xpath在完成这样的小任务上效率非常好，在这里之所以又使用了一下正则表达式是因为xpath在处理一些特殊的页面的时候会出现乱码的情况，当然这不是xpath的原因，而是页面本身编码，跟utf-8转码之间有冲突所致，这里看代码：

# !/usr/bin/python
#-*-coding:utf-8-*-

'''
功能：抽取指定url的页面内容中的title
'''

import re
import chardet
import urllib
from lxml import etree

def utf8_transfer(strs):
    '''
    utf8编码转换
    '''
    try:
        if isinstance(strs, unicode):
            strs = strs.encode('utf-8')
        elif chardet.detect(strs)['encoding'] == 'GB2312':
            strs = strs.decode("gb2312", 'ignore').encode('utf-8')
        elif chardet.detect(strs)['encoding'] == 'utf-8':
            strs = strs.decode('utf-8', 'ignore').encode('utf-8')
    except Exception, e:
        print 'utf8_transfer error', strs, e
    return strs


def get_title_xpath(Html):
    '''
    用xpath抽取网页Title
    '''
    Html = utf8_transfer(Html)
    Html_encoding = chardet.detect(Html)['encoding']
    page = etree.HTML(Html, parser=etree.HTMLParser(encoding=Html_encoding))
    title = page.xpath('/html/head/title/text()')
    try:
        title = title[0].strip()
    except IndexError:
        print 'Nothing'
    print title


def get_title(Html):
    '''
    用re抽取网页Title
    '''
    Html = utf8_transfer(Html)
    compile_rule = ur'<title>.*</title>'
    title_list = re.findall(compile_rule, Html)
    if title_list == []:
        title = ''
    else:
        title = title_list[0][7:-8]
    print title


if __name__ == '__main__':
	url = 'http://www.baidu.com'
	html = urllib.urlopen(url).read()
	new_html = utf8_transfer(html)
	try:
		get_title_xpath(new_html)
		get_title(new_html)
	except Exception, e:
		print e

下面是结果：

百度一下，你就知道
百度一下，你就知道

简单的小实践，继续学习，欢迎交流