对获取简单网页数据方法进行封装

原创 2016年08月29日 17:24:51

对获取简单网页数据方法进行封装

# coding: utf-8
import urllib2
import urllib
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
import re

class BasicsQequest():

    def __init__(self):
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        self.headers = {'User-Agent': self.user_agent}

    def basics_quest(self, url):
        try:
            # 构建请求的request
            request = urllib2.Request(url, headers=self.headers)
            # 利用urlopen获取页面代码
            response = urllib2.urlopen(request)
            # 将页面转化为UTF-8编码
            pageCode = response.read().decode('utf-8')
            # print pageCode
            return pageCode
        except urllib2.URLError, e:
            if hasattr(e, "reason"):
                print u"连接失败,错误原因", e.reason
                return None

    def basics_re(self, url, str_re):
        pageCode = self.basics_quest(url)
        if not pageCode:
            print "页面加载失败...."
            return None
        pattern = re.compile(str_re, re.S)
        items = pattern.findall(pageCode)
        # for item in items:
        #     print item
        return list(items)



版权声明:本文为博主原创文章,未经博主允许不得转载。

JSON 简单封装

package com.suypower.sysutility.json; import java.util.ArrayList; import java.util.Collection; impo...
  • xuemingyuan88
  • xuemingyuan88
  • 2015年08月25日 23:52
  • 2390

简单封装$.ajax() 方法

我是新手最近一直再用 AJAX 这个方法简单的写成函数的方式不知道会不会方便,主要是ajax 传输成功之后 把后台的data 返回到自己的函数上 ,这样对数据就可以随意操作了。...
  • qq_33285292
  • qq_33285292
  • 2017年07月26日 15:17
  • 1207

Qt: 网络编程实例,QNetworkAccessManager获取网页数据

Qt: 网络编程实例,QNetworkAccessManager获取网页数据
  • rl529014
  • rl529014
  • 2016年10月20日 23:52
  • 3917

Android 实战 - 个人App乐逗项目(查看网页链接封装,播放视频封装)

1.查看网页链接封装 和 Android实战-个人App乐逗项目(第一阶段:微信精选文章完成与总结) 中的webview一样,采用腾讯x5浏览服务sdk调用的.效果 预览 : 所需 工具 : ...
  • LABLENET
  • LABLENET
  • 2015年11月12日 07:36
  • 2760

C 语言中实现数据与方法的封装

在 C 语言中可以用结构体代替类,用函数指针代替成员方法,实现数据成员与成员方法的封装,在客户端程序中写出的程序与 C++ 类似,唯一的不同是 C 语言中调用函数指针成员时必须将本对象的地址传给函数,...
  • Justme0
  • Justme0
  • 2013年08月19日 00:25
  • 2873

okhttp的简单介绍(二)之简单封装

前一篇文章简单的介绍了okhttp的简单使用,okhttp的简单介绍(一): 今天来okhttp的第二篇,简单封装,减少代码冗余,代码结构清晰。...
  • wuyinlei
  • wuyinlei
  • 2016年01月28日 10:13
  • 6895

如何封装一个数据库查询,并把结果返回给调用者

/** * 查询一个sql语句.结果返回一个list集合 * @param sql * @return * @throws SQLException */ public List...
  • u010501127
  • u010501127
  • 2013年06月07日 14:31
  • 868

Struts2封装获取表单数据方式

struts 框架 JAVAEE action
  • qq_33248299
  • qq_33248299
  • 2017年03月16日 09:31
  • 479

android客户端和网站数据交互的实现(基于Http协议获取数据方法)

android客户端一般不直接访问网站数据库,而是像浏览器一样发送get或者post请求,然后网站返回客户端能理解的数据格式,客户端解析这些数据,显示在界面上,常用的数据格式是xml和json。 ...
  • dulzihi
  • dulzihi
  • 2014年07月31日 09:43
  • 2661

php封装JSON或XML数据 PHP开发APP接口

class Response { const JSON = "json"; /** * 按综合方式输出通信数据 * @param integer $code 状态码...
  • u011415782
  • u011415782
  • 2016年06月06日 14:29
  • 1037
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:对获取简单网页数据方法进行封装
举报原因:
原因补充:

(最多只允许输入30个字)