对获取简单网页数据方法进行封装

原创 2016年08月29日 17:24:51

对获取简单网页数据方法进行封装

# coding: utf-8
import urllib2
import urllib
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
import re

class BasicsQequest():

    def __init__(self):
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        self.headers = {'User-Agent': self.user_agent}

    def basics_quest(self, url):
        try:
            # 构建请求的request
            request = urllib2.Request(url, headers=self.headers)
            # 利用urlopen获取页面代码
            response = urllib2.urlopen(request)
            # 将页面转化为UTF-8编码
            pageCode = response.read().decode('utf-8')
            # print pageCode
            return pageCode
        except urllib2.URLError, e:
            if hasattr(e, "reason"):
                print u"连接失败,错误原因", e.reason
                return None

    def basics_re(self, url, str_re):
        pageCode = self.basics_quest(url)
        if not pageCode:
            print "页面加载失败...."
            return None
        pattern = re.compile(str_re, re.S)
        items = pattern.findall(pageCode)
        # for item in items:
        #     print item
        return list(items)



版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

vb-跨域访问网页最简单方法,获得特定的frame进行处理

vb-跨域访问网页最简单方法,获得特定的frame进行处理 以下三种方法所用时间为130,82,28 微秒(一秒=100万微秒,=1000毫秒,1毫秒=1000微秒)...

JavaScript当中网页刷新后数值(text、radio、checkbox、select、textarea)保持不变(输入域数据保持)的简单方法

JavaScript当中网页刷新后数值(text、radio、checkbox、select、textarea)保持不变(输入域数据保持)的简单方法 其实方法都差不多,直接使用this.value=...

【Jsoup in action】模拟浏览器:get方式简单获取网页数据(一)

从一个URL获取Document对象的其他姊妹章: 模拟浏览器:get方式简单获取网页数据(一) 模拟浏览器:post方式模拟登陆获取网页数据(二) 模拟浏览器:Jsoup工具类的使用及失败重试的r...

【android初级】之Android获取网页数据的方法总结

本文总结了三种获取网页数据的代码,是自己在用的时候随手整理出来的。此处仅贴出函数段,不贴出import了,用的时候可以用eclipse自动import一下就行了。函数的详细用途描述请看代码中注释。调用...

Android获取网页数据的方法总结

本文总结了三种获取网页数据的代码,是自己在用的时候随手整理出来的。此处仅贴出函数段,不贴出import了,用的时候可以用eclipse自动import一下就行了。函数的详细用途描述请看代码中注释。调用...

Android获取网页数据的方法总结

本文总结了三种获取网页数据的代码,是自己在用的时候随手整理出来的。此处仅贴出函数段,不贴出import了,用的时候可以用eclipse自动import一下就行了。函数的详细用途描述请看代码中注释。调用...

android初级之Android获取网页数据的方法总结

转自:http://www.2cto.com/kf/201204/128194.html 本文总结了三种获取网页数据的代码,是自己在用的时候随手整理出来的。此处仅贴出函数段,不贴出i...

android获取网页数据的方法

1.android获取网页数据的方法: //第一种 /**获取参数(ArrayList nameValuePairs,String url)后post给远程服务器 * 将获得的返...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:对获取简单网页数据方法进行封装
举报原因:
原因补充:

(最多只允许输入30个字)