从0开始学python -64

Python urllib -1

Python urllib 库用于操作网页 URL,并对网页的内容进行抓取处理。

本文主要介绍 Python3 的 urllib。

urllib 包 包含以下几个模块:

  • urllib.request - 打开和读取 URL。
  • urllib.error - 包含 urllib.request 抛出的异常。
  • urllib.parse - 解析 URL。
  • urllib.robotparser - 解析 robots.txt 文件。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-509EilNZ-1679297597911)(null)]


urllib.request

urllib.request 定义了一些打开 URL 的函数和类,包含授权验证、重定向、浏览器 cookies等。

urllib.request 可以模拟浏览器的一个请求发起过程。

我们可以使用 urllib.request 的 urlopen 方法来打开一个 URL,语法格式如下:

urllib.request.urlopen(url, data=None,[timeout,]*, cafile=None, capath=None, cadefault=False, context=None)
  • url :url 地址。
  • data :发送到服务器的其他数据对象,默认为 None。
  • timeout :设置访问超时时间。
  • cafile 和 capath :cafile 为 CA 证书, capath 为 CA 证书的路径,使用 HTTPS 需要用到。
  • cadefault :已经被弃用。
  • context :ssl.SSLContext类型,用来指定 SSL 设置。

实例如下:

实例

from urllib.request import urlopen

myURL = urlopen(“https://www.runoob.com/”)
print(myURL.read())

以上代码使用 urlopen 打开一个 URL,然后使用 read() 函数获取网页的 HTML 实体代码。

read() 是读取整个网页内容,我们可以指定读取的长度:

## 实例
from urllib.request import urlopen

myURL = urlopen("https://www.runoob.com/")
print(myURL.read())

除了 read() 函数外,还包含以下两个读取网页内容的函数:

  • readline() - 读取文件的一行内容
    from urllib.request import urlopen
    
    myURL = urlopen("https://www.runoob.com/")
    print(myURL.readline())#读取一行内容
    
  • readlines() - 读取文件的全部内容,它会把读取的内容赋值给一个列表变量。
    from urllib.request import urlopen
    
    myURL = urlopen("https://www.runoob.com/")
    lines = myURL.readlines()
    for line in lines:
        print(line)
    

我们在对网页进行抓取时,经常需要判断网页是否可以正常访问,这里我们就可以使用 getcode() 函数获取网页状态码,返回 200 说明网页正常,返回 404 说明网页不存在:

## 实例

import urllib.request

myURL1 = urllib.request.urlopen("https://www.runoob.com/")
print(myURL1.getcode())   # 200

try:
myURL2 = urllib.request.urlopen("https://www.runoob.com/no.html")
except urllib.error.HTTPError as e:
if e.code == 404:
print(404)   # 404

 

如果要将抓取的网页保存到本地,可以使用 Python3 File write() 方法 函数:

## 实例

from urllib.request import urlopen

myURL = urlopen("https://www.runoob.com/")
f = open("runoob_urllib_test.html", "wb")
content = myURL.read()  # 读取网页内容
f.write(content)
f.close()

执行以上代码,在本地就会生成一个 runoob_urllib_test.html 文件,里面包含了 https://www.runoob.com/ 网页的内容。

更多Python File 处理,可以参阅: python3-file-methods

。URL 的编码与解码可以使用 urllib.request.quote()urllib.request.unquote() 方法:

## 实例

import urllib.request

encode_url = urllib.request.quote("https://www.runoob.com/")  # 编码
print(encode_url)

unencode_url = urllib.request.unquote(encode_url)    # 解码
print(unencode_url)

输出结果为:

https%3A//www.runoob.com/
https://www.runoob.com/
### 回答1: 将 MATLAB 代码转换为 Python 代码涉及到一些语法和函数的变化,但是大多数情况下是可行的。下面是一些常见的转换方法: 1. 语法差异:MATLAB 使用分号来表示在命令行中不输出结果,而 Python 不需要。同时,Python 使用冒号来表示代码块,而 MATLAB 使用 end。 2. 数据类型:MATLAB 中的变量类型可以是 double、single、int8、int16、int32、int64、uint8、uint16、uint32、uint64、logical、char、cell、struct、function_handle 等,而 Python 中的变量类型包括 int、float、bool、str、list、tuple、dict 和 set 等。因此,需要根据需要将变量类型进行转换。 3. 函数和库:MATLAB 和 Python 中都有许多内置函数和库,但是它们的名称和使用方式可能不同。例如,MATLAB 中的 plot 函数可以使用 matplotlib 库来实现。 4. 控制流:MATLAB 中的控制流语句包括 if、for、while 和 switch 等,Python 中也有相应的语句,但是语法和使用方式略有不同。 5. 文件 I/O:MATLAB 中的文件 I/O 函数包括 load、save、fopen、fprintf、fread、fwrite 等,Python 中也有类似的函数,但是需要注意语法和参数。 总之,将 MATLAB 代码转换为 Python 代码需要一些额外的工作,但是可以通过一些工具和技巧来简化这个过程。例如,可以使用 MATLAB 转 Python 工具箱(m2py)或 Python 中的 MATLAB 引擎 API 来实现。 ### 回答2: 将MATLAB转换成Python可以通过以下几个步骤完成。 首先,需要熟悉Python的编程语法和一些基本的数据结构,例如列表、字典、元组等。这些知识是在MATLAB和Python之间进行代码转换时的基础。 其次,需要了解Python的科计算库,如NumPy和SciPy。NumPy提供了与MATLAB相似的多维数组功能,而SciPy则提供了许多高级数、科计算和数据处理的函数。 然后,可以开始将MATLAB代码转换成Python。可以使用在线工具或编写自己的脚本进行转换。一些常见的转换包括将MATLAB的数组转换成NumPy数组、将MATLAB的矩阵运算转换成NumPy的矩阵运算,以及调整MATLAB中使用的函数到Python中对应的函数。 在转换过程中,还需要考虑代码的可读性和运行效率。有些MATLAB特定的函数和功能在Python可能没有对应的直接替代品,需要进行一些调整或寻找类似的函数。 最后,进行测试和调试,确保转换后的Python代码与原始MATLAB代码相同或相似的结果。可以使用一些测试数据和样例来验证转换是否成功。 总之,将MATLAB转换成Python需要一定的习和了解,同时需注意两种语言之间的差异和调整。随着熟悉度的提高,转换的过程会变得更加顺利和高效。 ### 回答3: Matlab是一种专业的数值计算和数据分析软件,而Python是一种通用的编程语言。如果要将Matlab代码转换为Python,以下是一些可能需要考虑的事项: 1.语法转换:Matlab和Python的语法存在一些差异,因此需要将Matlab代码的语法转换为相应的Python语法。例如,Matlab中使用的数组索引从1开始,而Python中从0开始。 2.函数转换:Matlab和Python都支持各种函数,但函数名称和参数可能不同。需要确保将Matlab代码中使用的函数转换为Python中相应的函数。 3.包和库的使用:Matlab和Python都有大量的包和库可用于各种应用领域。在转换过程中,需要熟悉Python中的相关包和库,并将Matlab中的函数和算法转换为使用相应的Python包和库。 4.数据类型转换:Matlab和Python的数据类型也存在差异。需要将Matlab代码中使用的数据类型转换为Python中相应的数据类型。 5.图形界面的替代方案:Matlab有自己的图形用户界面(GUI),而Python可以使用不同的库来创建图形界面。在转换过程中,可能需要选择适合的Python库来替代Matlab的图形界面功能。 总之,将Matlab转换为Python需要对Matlab代码进行逐行检查和修改,以确保代码在Python环境中能够正确运行。此外,需要具备良好的Python编程基础和对Matlab代码的理解,以便更好地完成转换过程。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wis57

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值