Python爬取网页详细教程：从入门到进阶_python网站爬取

功勋Web工程师

于 2024-04-15 18:12:18 发布

阅读量926

点赞数 6

分类专栏： 2024年程序员学习文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/m0_61549781/article/details/137790442

版权

2024年程序员学习专栏收录该内容

248 篇文章 1 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

from bs4 import BeautifulSoup

soup = BeautifulSoup(content, ‘lxml’)
title = soup.title.text
print(title)


在这个例子中，我们首先实例化一个BeautifulSoup对象，并传入网页内容和解析器类型（这里使用lxml解析器）。然后，我们可以使用对象的属性和方法来提取数据。在这个例子中，我们使用title属性来获取网页的标题，并使用text属性来获取标题的文本内容。


#### 四、提取和处理数据


在爬取网页的过程中，我们最主要的目标是提取所需的数据。通过观察网页的结构和元素，我们可以使用CSS选择器或XPath表达式来定位和提取数据。下面是一个例子，演示如何使用CSS选择器提取页面中的所有链接：

links = soup.select(‘a’)
for link in links:
href = link[‘href’]
print(href)


在这个例子中，我们使用select()方法和CSS选择器来选择所有的a标签（即链接元素）。然后，我们可以遍历结果集，并使用元素的属性来获取链接的URL。


#### 五、处理动态页面


有些网页使用JavaScript动态加载数据，这时我们需要模拟浏览器的行为来获取动态生成的内容。可以使用Selenium库来实现这一功能。下面是一个例子，演示如何使用Selenium模拟浏览器行为并获取动态页面的内容：

from selenium import webdriver

url = ‘https://www.example.com’
driver = webdriver.Chrome()
driver.get(url)
content = driver.page_source
driver.quit()


在这个例子中，我们首先实例化一个Chrome浏览器对象，并使用get()方法打开目标网页。然后，我们可以使用page\_source属性获取页面的源代码。最后，记得调用quit()方法关闭浏览器。


#### 六、登录认证和处理AJAX请求


有些网站需要登录认证才能获取特定的数据。可以使用requests库发送POST请求并携带登录凭证来模拟登录。对于包含AJAX请求的网页，我们可以使用Selenium模拟浏览器行为来执行AJAX请求，并获取返回的数据。下面是一个例子，演示如何登录认证和处理AJAX请求：

import requests
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

登录认证

login_url = ‘https://www.example.com/login’
data = {‘username’: ‘your_username’, ‘password’: ‘your_password’}
response = requests.post(login_url, data=data)

处理AJAX请求

url = ‘https://www.example.com/ajax_data’
driver = webdriver.Chrome()
driver.get(url)
wait = WebDriverWait(driver, 10)
ajax_data = wait.until(EC.visibility_of_element_located((By.ID, ‘ajax_data’)))
content = ajax_data.text
driver.quit()


在这个例子中，我们首先使用requests库发送POST请求来进行登录认证，并将登录凭证存储在response变量中。然后，我们使用Selenium模拟浏览器行为，并使用WebDriverWait类来等待AJAX请求结果的可见性。最后，我们可以通过元素的text属性来获取AJAX请求返回的数据。


### 【结论】：


通过本文介绍的Python爬取网页的详细教程，我们可以了解到使用Python进行网页爬取的一般流程。从安装Python和必要的库，到发送HTTP请求、解析HTML页面，再到提取和处理数据，最后讲解了如何处理动态页面、登录认证和处理AJAX请求。通过多个案例的演示，读者可以全面掌握Python爬虫编程的技巧，为进一步应用于实际项目打下坚实的基础。希望本文对大家学习Python爬虫有所帮助！





![在这里插入图片描述](https://img-blog.csdnimg.cn/20210511152217670.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poaWd1aWd1,size_16,color_FFFFFF,t_70)

**感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：**



①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）**
![img](https://img-blog.csdnimg.cn/img_convert/f7a15083771a8d0f3238c101f0735c98.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
..(img-a8HsesIV-1713175927942)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**