Python学习笔记15：Python和Web

最新推荐文章于 2024-08-24 11:00:49 发布
最新推荐文章于 2024-08-24 11:00:49 发布
阅读量373 收藏
点赞数
文章标签： python 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36333986/article/details/130254225
版权
文章介绍了Python进行Web屏幕抓取的基本方法，包括使用正则表达式、Tidy和XHTML解析、BeautifulSoup库。同时，讲解了如何通过CGI创建动态网页，强调了CGI脚本的配置和权限设置。
摘要由CSDN通过智能技术生成

Python和Web

屏幕抓取

# 简单的屏幕抓取程序
from urllib.request import urlopen 
import re

p = re.compile('<a href="(/jobs/\\d+)/">(.*?)</a>') 
text = urlopen('http://python.org/jobs').read().decode() 
for url, name in p.findall(text): 
	print('{} ({})'.format(name, url))

#输出类似
Python Developer (/jobs/7209)
Python developer (/jobs/7208)
🛠 Experienced Data Engineer (/jobs/7200)
🤖 Experienced Machine Learning Engineer (/jobs/7199)
Lead / Senior Python Software Engineer (/jobs/7198)
Senior Back-End Developer (/jobs/7197)
IT Specialist (Data Science) (/jobs/7196)
Software Engineer (Mid/Senior) (/jobs/7194)
Python Back-end Developer - Planning and Tasking Team (/jobs/7193)
Senior Python Developer (/jobs/7187)
Health / Intermountain Healthcare (/jobs/7185)
Senior Python Developer (/jobs/7184)
Senior Python Developer (/jobs/7181)
Principal Python Engineer (/jobs/7180)
Senior Backend Software Engineer (f/m/d) (/jobs/7177)
Senior Software Engineer @ Omnipresent (/jobs/7175)
Principal Software Engineer @ Omnipresent (/jobs/7174)
Senior Software Engineer - Python (/jobs/7173)
Sr. Python Developer (/jobs/7171)
Senior Python Software Engineer (/jobs/7170)
Python Engineer @ Aeguana (/jobs/7165)
Algorithms Engineer (/jobs/7164)
Experienced Django Developer (Python) (/jobs/7163)
Python Software Engineer (/jobs/7162)
Senior Python/Django Engineer (/jobs/7129)

缺点

  • 正则表达式不容易理解。
  • 对付不了独特的html内容，如CDATA部分和字符实体（如&amp）.

Tidy和XHTML解析

  1. Tidy

Tidy是用于对格式不正确且不严谨的HTML进行修复的工具。

格式错误的HTML代码

<h1>Pet Shop 
<h2>Complaints</h3> 
<p>There is <b>no <i>way</b> at all</i> we can accept returned 
parrots. 
<h1><i>Dead Pets</h1>
<p>Our pets may tend to rest at times, but rarely die within the 
warranty period. 
<i><h2>News</h2></i> 
<p>We have just received <b>a really nice parrot. 
<p>It's really nice.</b> 
<h3><hr>The Norwegian Blue</h3> 
<h4>Plumage and <hr>pining behavior</h4> 
<a href="#norwegian-blue">More information<a> 
<p>Features: 
<body> 
<li>Beautiful plumage

Tidy修复后的版本

<!DOCTYPE html> 
<html> 
<head> 
<title></title> 
</head> 
<body> 
<h1>Pet Shop</h1> 
<h2>Complaints</h2> 
<p>There is <b>no <i>way</i></b> <i>at all</i> we can accept 
returned parrots.</p> 
<h1><i>Dead Pets</i></h1> 
<p><i>Our pets may tend to rest at times, but rarely die within the 
warranty period.</i></p> 
<h2><i>News</i></h2> 
<p>We have just received <b>a really nice parrot.</b></p> 
<p><b>It's really nice.</b></p> 
<hr> 
<h3>The Norwegian Blue</h3> 
<h4>Plumage and</h4> 
<hr> 
<h4>pining behavior</h4> 
<a href="#norwegian-blue">More information</a> 
<p>Features:</p> 
<ul> 
<li>Beautiful plumage</li> 
</ul> 
</body> 
</html>

当然，Tidy并不能修复HTML文件存在的所有问题，但确实能够确保文件是格式良好的（即所有元素都嵌套正确），这让解析工作容易得多。

  1. 获取Tidy
$ pip install pytidylib

例如，假设你有一个混乱的HTML文件（messy.html），且在执行路径
中包含命令行版Tidy，下面的程序将对这个文件运行Tidy并将结果打印出来：

from subprocess import Popen, PIPE 

text = open('messy.html').read() 
tidy = Popen('tidy', stdin=PIPE, stdout=PIPE, stderr=PIPE) 

tidy.stdin.write(text.encode()) 
tidy.stdin.close() 

print(tidy.stdout.read().decode())
  1. 为何使用XHTML

XHTML和旧式HTML的主要区别在于，XHTML非常严格，要求显式地结束所有的元素（至少就我们当前的目标而言如此）。

要对Tidy生成的格式良好的XHTML进行解析，一种非常简单的方式是使用标准库模块html.parser中的HTMLParser类。

  1. 使用HTMLParser

HTMLParser中的回调方法

回调方法何时被调用
handle_starttag(tag, attrs)遇到开始标签时调用。attrs是一个由形如(name, value)的元组组成的序列
handle_startendtag(tag, attrs)遇到空标签时调用。默认分别处理开始标签和结束标签
handle_endtag(tag)遇到结束标签时调用
handle_data(data)遇到文本数据时调用
handle_charref(ref)遇到形如&#ref;的字符引用时调用
handle_entityref(name)遇到形如&name;的实体引用时调用
handle_comment(data)遇到注释时；只对注释内容调用
handle_decl(decl)遇到形如<!..>的声明时调用
handle_pi(data)用于处理指令
unknown_decl(data)遇到未知声明时调用
# 使用模块HTMLParser的屏幕抓取程序
from urllib.request import urlopen 
from html.parser import HTMLParser 

def isjob(url): 
    try: 
        a, b, c, d = url.split('/') 
    except ValueError: 
        return False 
    return a == d == '' and b == 'jobs' and c.isdigit() 

class Scraper(HTMLParser): 
    in_link = False  
    def handle_starttag(self, tag, attrs): 
        attrs = dict(attrs) 
        url = attrs.get('href', '') 
        if tag == 'a' and isjob(url): 
            self.url = url 
            self.in_link = True 
            self.chunks = [] 
 
    def handle_data(self, data): 
        if self.in_link: 
            self.chunks.append(data)

    def handle_endtag(self, tag): 
        if tag == 'a' and self.in_link: 
            print('{} ({})'.format(''.join(self.chunks), self.url)) 
            self.in_link = False 

text = urlopen('http://python.org/jobs').read().decode() 
parser = Scraper() 
parser.feed(text) 
parser.close()

# 输出类似
Python Developer (/jobs/7209/)
Python developer (/jobs/7208/)
🛠 Experienced Data Engineer (/jobs/7200/)
🤖 Experienced Machine Learning Engineer (/jobs/7199/)
Lead / Senior Python Software Engineer (/jobs/7198/)
Senior Back-End Developer (/jobs/7197/)
IT Specialist (Data Science) (/jobs/7196/)
Software Engineer (Mid/Senior) (/jobs/7194/)
Python Back-end Developer - Planning and Tasking Team (/jobs/7193/)
Senior Python Developer (/jobs/7187/)
Health / Intermountain Healthcare (/jobs/7185/)
Senior Python Developer (/jobs/7184/)
Senior Python Developer (/jobs/7181/)
Principal Python Engineer (/jobs/7180/)
Senior Backend Software Engineer (f/m/d) (/jobs/7177/)
Senior Software Engineer @ Omnipresent (/jobs/7175/)
Principal Software Engineer @ Omnipresent (/jobs/7174/)
Senior Software Engineer - Python (/jobs/7173/)
Sr. Python Developer (/jobs/7171/)
Senior Python Software Engineer (/jobs/7170/)p
Python Engineer @ Aeguana (/jobs/7165/)
Algorithms Engineer (/jobs/7164/)
Experienced Django Developer (Python) (/jobs/7163/)
Python Software Engineer (/jobs/7162/)
Senior Python/Django Engineer (/jobs/7129/)

Beautiful Soup

Beautiful Soup是一个小巧而出色的模块，用于解析你在Web上可能遇到的不严谨且格式糟糕
的HTML。

# 使用BeautifulSoup的屏幕抓取程序
from urllib.request import urlopen 
from bs4 import BeautifulSoup 

text = urlopen('http://python.org/jobs').read() 
soup = BeautifulSoup(text, 'html.parser') 

jobs = set() 
for job in soup.body.section('h2'): 
    jobs.add('{} ({})'.format(job.a.string, job.a['href'])) 

print('\n'.join(sorted(jobs, key=str.lower)))

# 输出类似
Algorithms Engineer (/jobs/7164/)
Experienced Django Developer (Python) (/jobs/7163/)
Health / Intermountain Healthcare (/jobs/7185/)
IT Specialist (Data Science) (/jobs/7196/)
Lead / Senior Python Software Engineer (/jobs/7198/)
Principal Python Engineer (/jobs/7180/)
Principal Software Engineer @ Omnipresent (/jobs/7174/)
Python Back-end Developer - Planning and Tasking Team (/jobs/7193/)
Python developer (/jobs/7208/)
Python Developer (/jobs/7209/)
Python Engineer @ Aeguana (/jobs/7165/)
Python Software Engineer (/jobs/7162/)
Senior Back-End Developer (/jobs/7197/)
Senior Backend Software Engineer (f/m/d) (/jobs/7177/)
Senior Python Developer (/jobs/7181/)
Senior Python Developer (/jobs/7184/)
Senior Python Developer (/jobs/7187/)
Senior Python Software Engineer (/jobs/7170/)
Senior Python/Django Engineer (/jobs/7129/)
Senior Software Engineer - Python (/jobs/7173/)
Senior Software Engineer @ Omnipresent (/jobs/7175/)
Software Engineer (Mid/Senior) (/jobs/7194/)
Sr. Python Developer (/jobs/7171/)
🛠 Experienced Data Engineer (/jobs/7200/)
🤖 Experienced Machine Learning Engineer (/jobs/7199/)

使用CGI创建动态网页

通用网关接口（CGI）。CGI是一种标准机制，Web服务器可通过它将（通常是通过Web表
达提供的）查询交给专用程序（如你编写的Python程序），并以网页的方式显示查询结果。

第一步：准备 Web 服务器

$ python3 -m http.server --cgi
Serving HTTP on 0.0.0.0 port 8000 (http://0.0.0.0:8000/) ...

如果现在将浏览器指向http://127.0.0.1:8000或http://localhost:8000，将看到运行这个服务器所
在目录的内容。另外，你还将看到服务器提供的有关连接的信息。

CGI程序也必须放在可通过Web访问的目录中。另外，必须将其标识为CGI脚本，以免Web
服务器以网页的方式提供其源代码。为此，有两种常见的方式：

  • 将脚本放在子目录cgi-bin中；
  • 将脚本文件的扩展名指定为.cgi。

PS 开放指定端口

# 查看防火墙状态 
systemctl status firewalld

# 查看端口是否已开 
firewall-cmd --query-port=8000/tcp
# 添加指定需要开放的端口
firewall-cmd --permanent --add-port=8000/tcp   
# 移除指定的端口
firewall-cmd --permanent --remove-port=8000/tcp
# 添加端口后，重启防火墙
systemctl restart firewalld

第二步：添加!#行

脚本开头添加如下（之前没有空行）

#!/usr/bin/python3

第三步：设置文件权限

chmod 755 hello.cgi

简单的cgi脚本

#!/usr/bin/python3

print('Content-type: text/plain') 
print()# 打印一个空行，以结束首部

print('Hello, world!')

PS；需要放到cgi-bin目录下

小结

屏幕抓取：指的是自动下载网页并从中提取信息。程序Tidy及其库版本是很有用的工具，可用来修复格式糟糕的HTML，然后使用HTTML解析器进行解析。另一种抓取方式是使用Beautiful Soup，即便面对混乱的输入，它也可以处理。

CGI：通用网关接口是一种创建动态网页的方式，这是通过让Web服务器运行、与客户端程序通信并显示结果而实现的。模块cgi和cgitb可用于编写CGI脚本。CGI脚本通常是在HTML表单中调用的。

Flask：一个简单的Web框架，让你能够将代码作为Web应用发布，同时不用过多操心Web部分。

Web应用框架：要使用Python开发复杂的大型Web应用，Web应用框架必不可少。对简单的项目来说，Flask是不错的选择；但对于较大的项目，你可能应考虑使用Django或TurboGears。

Web服务：Web服务之于程序犹如网页之于用户。你可以认为，Web服务让你能够以更抽象的方式进行网络编程。常用的Web服务标准包括RSS（以及与之类似的RDF和Atom）、XML-RPC和SOAP。

vbs16
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python学习笔记13：异常处理
梦幻天空
03-25 1306
Python学习笔记13：异常处理 在编程语言的学习中，异常处理往往是不起眼，但又没法舍弃的部分。 事实上，当时的C++老师说过：异常的诞生是为了增强程序的健壮性，能让程序在出错的时候自动恢复。但很遗憾的是，这种局面从未实现。 所以，不要奢望你学完异常就有一种强大的工具，能大幅度提升代码的健壮性。我更倾向于这是一个讲代码中的错误能集中起来展示和处理，并和正常的业务逻辑区分开的有用的工具，仅此而已。 异常非但没能完成让程序忽视错误正常运行的初衷，反而在某些情况下可能会屏蔽掉一些严重问题，给调试带来麻烦，所以我
Python学习笔记6：Web应用
梦幻天空
03-13 219
Python学习笔记6：Web应用 进入21世纪，Web开发相当火热，如果一门语言不支持Web开发，我估计也不好意思说自己强大，今天我们就来探索一下Python在Web开发中的能力。 简单起见这里就沿用《Head first Python》一书中同名章节的案例，不做修改。 Web框架 Web框架可以理解为Web服务器上处理Http请求的服务，像PHP的最佳伙伴Apache。 Python支持多种Web框架，这里使用的是最一个简单的Web框架：flask。 flask是Python的第三方模块，所以我们需
【全网首发】【Python】Python控制parrot ARDrone 2.0无人机
m0_56262476的博客
11-10 4002
【全网首发】使用Python控制parrot ARDrone 2.0无人机，文章讲解开发环境的配置、示例代码的讲解和重要代码的展示。
python构建_python构建过程
weixin_39954487的博客
12-10 430
使用setup.py主要是使用distutils进行构建，打包，发布，安装setup当中核心是extension, 这是一个list, 里面参数在使用不同的编译选项的时候对应不同的编译dict, 解引用之后增加到extension当中作为编译选项。单纯的使用gcc进行编译，使用python setup.py build_ext --inplace其中标准命令build_ext 代表build C...
Python 学习 第二册 第15章 Python和Web
weixin_38135241的博客
06-18 941
python和web
Python学习笔记(干货) 中文PDF完整版.pdf
05-23
这份"Python学习笔记"涵盖了从环境搭建到基础语法，再到数据类型和控制结构等关键知识点，旨在为初学者提供全面的学习指导。 首先，1.1章节介绍了Python的基础，包括Python的起源和历史。Python是由Guido van ...
python_study:python学习笔记
03-30
以上内容是根据【标题】"python_study:python学习笔记"和【描述】"python_study Python学习笔记 脚本案例"所涉及的主要知识点，涵盖了Python的基础、语法、脚本应用及进阶主题。通过学习这些内容，你将能够全面掌握...
python学习笔记附带源码及实战
03-10
【Python学习笔记】 Python是一种高级编程语言，以其简洁明了的语法和强大的功能而闻名。这份学习笔记涵盖了从基础到高级的全方位Python知识，旨在帮助初学者快速掌握编程技能并进行实际项目开发。 【源码】 源码是...
python学习笔记之python工具使用
02-08
还包括了解和掌握一系列相关的工具，如Ipython、Jupyter Notebook和Anaconda，这些工具能够极大地提升Python学习和工作的效率，使你能够更好地发掘Python在数据科学、机器学习和Web开发等领域的潜力。通过深入理解和...
python web框架学习笔记
09-21
### Python Web框架学习笔记 #### 一、Web框架本质 ##### 1. 基于Socket，自己处理请求 在Python Web开发中，最基础的方式是通过Socket编程直接处理HTTP请求。这种方式虽然底层且繁琐，但能帮助开发者理解HTTP...
如何在Python中使用IP代理
IPIPGO的博客
08-23 357
通过以上步骤，你应该已经学会了如何在Python中使用IP代理。无论是单个代理IP、带认证的代理IP，还是批量使用代理IP，这些方法都能帮助你在实际项目中灵活应用。希望这篇文章对你有所帮助，如果你有任何问题或建议，欢迎在评论区留言，我们会尽力为你解答。t=N7T8。
常见面试问题(Python)
jiao_mrswang的博客
08-23 129
5、GIL全局解释锁。
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 852
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
Python优化算法09——黏菌优化算法(SMA)
最新发布
weixin_46277779的博客
08-24 434
python黏菌优化算法代码和使用
2024.8.20 Python，链表，二叉树
RaidenMessi的博客
08-20 410
代码逻辑：第一层，对l1.val进行判断，谁小听谁的，目标是输出这个链表，那就要修改这个链表，在第一层的时候，是先进函数，再赋值，所以在第一层的时候还没进行赋值就已经进第二层了，在第二层的时候还没赋值就又进第三层了，以此类推，然后每一次都抛掉一个最小的数。可能之后就理解了吧。我想了下，我决定不管了，就跟二分法当时一样，我直接按逻辑走，谁小谁就去用他的next继续和他刚才的人比，同时输出他自己本身，完事了。链表是线性表，是一维的，保存了现在这个数的值和下一个数的地址，分为表元素域，下一结点链接域，
基于Python星载气溶胶数据处理与反演分析
lwjnlqiqi的博客
08-21 1156
Python星载气溶胶数据处理与反演分析
基于YOLO V8的PCB缺陷检测识别系统（python源码+Pyqt5界面+数据集+训练代码）
2401_83580557的博客
08-22 424
基于YOLO V8的PCB缺陷检测识别系统【python源码+Pyqt5界面+数据集+训练代码】
python之matplotlib （5 散点图和柱状图）
这是C.L 的博客，欢迎大家学习浏览！！
08-20 465
附：colormap对照 '%.f'%y‘是标注数据的形式设置：保留两位小数，数据来源于y数组。也可以这样写：f'{y:.2f}',在它前面的参数是标注的位置。也可以是一个数组，表示每个点的颜色不同。ax.bar()中y参数是直方图的高度，其中facecolor是条形图的颜色，而edgecolor是除了条形图内的颜色。也可以是一个数组，表示每个点的大小不同。参数来指定一个colormap，用于映射颜色数组到颜色。
反射异常捕获 | InvocationTargetException 要用e.getCause()打印才能看到具体异常
你个无聊小demo的博客
08-22 319
反射异常捕获 | InvocationTargetException 要用e.getCause()打印才能看到具体异常
Python学习笔记：Web服务、数据类型与基础操作
本资源是一份Python学习笔记，主要针对web网站和网络服务、系统工具脚本编程以及作为胶水语言的角色进行了详细介绍。笔记首先明确了Python的学习适用领域，包括但不限于Web开发，因为它强大的网络功能使得它在这个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值