Python网络编程（二）-使用urllib3进行网络数据请求

最新推荐文章于 2024-04-30 13:43:52 发布

liranke

最新推荐文章于 2024-04-30 13:43:52 发布

阅读量2.4k

点赞数

分类专栏： python网络编程文章标签： python网络请求 urllib urllib3 网络爬虫 python爬虫

本文链接：https://blog.csdn.net/liranke/article/details/113873597

版权

urllib3 HTTP请求线程安全连接池网页数据获取

关键词由CSDN通过智能技术生成

python网络编程专栏收录该内容

15 篇文章 8 订阅

订阅专栏

1. urllib3简介：

urllib3是python中又一个http请求库。urllib3功能强大，使用简单，已经逐步取代了urllib和urllib2的地位。
urllib3具有如下特点：
线程安全
连接池
SSL/TLS验证
文件分部编码上传
重复请求和HTTP重定位
支持HTTP和SOCKS代理

2. urllib3实例：

使用urllib3获取新浪体育nba网页数据：

python代码如下：

import os
import sys
import urllib3

#检查url地址，如果正确，返回网页内容
def test_urllib3_get(url):
    try:
        http = urllib3.PoolManager()
        r = http.request('GET',url)
        print(r.status)
        #print(r.data)
        return r.data
    except:
        print('无法链接服务器！！！')

#main
if __name__ == '__main__':
    #url='http://sports.sina.com.cn/nba/'
    url="http://www.baidu.com"
    res=test_urllib3_get(url)
    print("test_urllib3_get res:")
    print(res)

运行结果（截取最前面的一小部分）：

200

test_urllib3_get res:

b'<!DOCTYPE html>\r\n<html>\r\n<head>\r\n\t<meta http-equiv="content-type" content="text/html;charset=utf-8">\r\n\t<meta http-equiv="X-UA-Compatible" content="IE=Edge">\r\n\t<link rel="dns-prefetch" href="//s1.bdstatic.com"/>\r\n\t<link rel="dns-prefetch" href="//t1.baidu.com"/>\r\n\t<link rel="dns-prefetch" href="//t2.baidu.com"/>\r\n\t<link rel="dns-prefetch" href="//t3.baidu.com"/>\r\n\t<link rel="dns-prefetch" href="//t10.baidu.com"/>\r\n\t<link rel="dns-prefetch" href="//t11.baidu.com"/>\r\n\t<link rel="dns-prefetch" href="//t12.baidu.com"/>\r\n\t<link rel="dns-prefetch" href="//b1.bdstatic.com"/>\r\n\t<title>\xe7\x99\xbe\xe5\xba\xa6\xe4\xb8\x80\xe4\xb8\x8b\xef\xbc\x8c\xe4\xbd\xa0\xe5\xb0\xb1\xe7\x9f\xa5\xe9\x81\x93</title>\r\n\t<link href="http://s1.bdstatic.com/r/www/cache/static/home/css/index.css" rel="stylesheet" type="text/css" />\r\n\t\r\n\t\r\n\t<script>var hashMatch = document.location.href.match(/#+(.*wd=[^&].+)/);if (hashMatch && hashMatch[0] && hashMatch[1])

代码说明：

调用PoolManager实例来生成请求,由该实例对象进行真正的数据请求。
通过request()方法创建一个请求，返回一个HTTPResponse对象，将GET，POST和url等作为输入参数。

r.status 和r.data返回响应结果。

urllib3可能是最简单有效的网页数据获取类了。