Python网络编程（三）-urllib库的使用

最新推荐文章于 2024-03-25 13:55:43 发布

liranke

最新推荐文章于 2024-03-25 13:55:43 发布

阅读量2k

点赞数

分类专栏： python网络编程文章标签： HTTPResponse urllib python网络请求 python爬虫网络爬虫

本文链接：https://blog.csdn.net/liranke/article/details/113875497

版权

python网络编程专栏收录该内容

15 篇文章 7 订阅

订阅专栏

1. urllib简介：

urllib可以说是Python最简单的网络数据请求库。urllib是Python自带的标准库，无需安装，直接可以用。
urllib为用户提供了下面的功能：
网页数据请求
响应结果获取
代理和cookie设置
异常处理
URL解析

2. urllib实例：

使用urllib获取百度首页的网页数据：

#!/usr/bin/python3
# -*- coding: UTF-8 -*-
import urllib.request

#urllib request test 
def test_urllib_request(url):
	page = urllib.request.urlopen(url)
	htmlCode = page.read() #获取网页源代码
	#print(htmlCode)
	data = htmlCode.decode("UTF-8")
	#print(data)
	#print(htmlCode.decode('utf-8')) #打印网页源代码
	return data


#main
if __name__ == '__main__':
	print("urllib test:")
	url='http://www.baidu.com'
	res=test_urllib_request(url)
	print(res)

运行结果（截取最前面的一小部分）：

urllib test:

<!DOCTYPE html>

<html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta content="always" name="referrer"><meta name="theme-color" content="#2932e1"><meta name="description" content="全球最大的中文搜索引擎、致力于让网民更便捷地获取信息，找到所求。百度超过千亿的中文网页数据库，可以瞬间找到相关的搜索结果。"><link rel="shortcut icon" href="/favicon.ico" type="image/x-icon" /><link rel="search" type="application/opensearchdescription+xml" href="/content-search.xml" title="百度搜索" /><link rel="icon" sizes="any" mask href="//www.baidu.com/img/baidu_85beaf5496f291521eb75ba38eacbd87.svg"><link rel="dns-prefetch" href="//dss0.bdstatic.com"/><link rel="dns-prefetch" href="//dss1.bdstatic.com"/><link rel="dns-prefetch" href="//ss1.bdstatic.com"/><link rel="dns-prefetch" href="//sp0.baidu.com"/><link rel="dns-prefetch" href="//sp1.baidu.com"/><link rel="dns-prefetch" href="//sp2.baidu.com"/><title>百度一下，你就知道</title><style index="newi" type="text/css">#form .bdsug{top:39px}.

代码说明：

urllib.request.urlopen返回一个http.client.HTTPResponse对象，使用HTTPResponse，可以读取网页内容，获取响应结果。

响应结果：

（1）状态信息：
print(res.status) #返回状态码200
print(res.msg) #访问成功返回ok
print(res.version) #返回版本信息
print(res.reason) #返回状态信息
print(res.closed) #返回对象是否关闭，返回值为一个bool值
print(res.debuglevel) #返回调试等级

（2）响应数据：
print(res.read().decode('utf-8')) #返回网页内容
print(res.readline().decode('utf-8')) #逐行读取，只返回当前行的内容
print(res.readlines()) #逐行读取之后，返回一个字符串列表,注意列表list没有decode()方法
print(res.info()) #返回网页的头信息
print(res.getheader(name)) #返回响应头中键为name的值
print(res.getheaders()) #以列表元组的形式返回响应头信息
print(res.getcode()) #返回响应的HTTP状态码
print(fileno()) #返回文件描述符
print(geturl()) #返回检索的URL

详细熟悉所用的组件的方法，快速进阶。