Python爬虫详解：原理、常用库与实战案例(2)

最新推荐文章于 2024-07-21 22:27:18 发布

WJud11

最新推荐文章于 2024-07-21 22:27:18 发布

阅读量783

点赞数 24

分类专栏：程序员文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/WJud11/article/details/137699556

版权

程序员专栏收录该内容

272 篇文章 0 订阅

订阅专栏

- 1. HTTP请求与响应过程
  - 2. 常用爬虫技术
二、Python爬虫常用库
- 1. 请求库
  - 2. 解析库
  - 3. 存储库
三、编写一个简单的Python爬虫
四、爬虫实战案例
- 1. 分析网站结构
  - 2. 编写爬虫代码
五、爬虫注意事项与技巧
结语：

引言：

随着互联网的快速发展，数据成为了新时代的石油。Python作为一种高效、易学的编程语言，在数据采集领域有着广泛的应用。本文将详细讲解Python爬虫的原理、常用库以及实战案例，帮助读者掌握爬虫技能。
在这里插入图片描述

一、爬虫原理

爬虫，又称网络爬虫，是一种自动获取网页内容的程序。它模拟人类浏览网页的行为，发送HTTP请求，获取网页源代码，再通过解析、提取等技术手段，获取所需数据。

1. HTTP请求与响应过程

爬虫首先向目标网站发送HTTP请求，请求可以包含多种参数，如URL、请求方法（GET或POST）、请求头（Headers）等。服务器接收到请求后，返回相应的HTTP响应，包括状态码、响应头和响应体（网页内容）。

2. 常用爬虫技术

（1）请求库：如requests、aiohttp等，用于发送HTTP请求。
（2）解析库：如BeautifulSoup、lxml、PyQuery等，用于解析网页内容。
（3）存储库：如pandas、SQLite等，用于存储爬取到的数据。
（4）异步库：如asyncio、aiohttp等，用于实现异步爬虫，提高爬取效率。

二、Python爬虫常用库

1. 请求库

（1）requests：简洁、强大的HTTP库，支持HTTP连接保持和连接池，支持SSL证书验证、Cookies等。
（2）aiohttp：基于asyncio的异步HTTP网络库，适用于需要高并发的爬虫场景。

2. 解析库

（1）BeautifulSoup：一个HTML和XML的解析库，简单易用，支持多种解析器。
（2）lxml：一个高效的XML和HTML解析库，支持XPath和CSS选择器。
（3）PyQuery：一个Python版的jQuery，语法与jQuery类似，易于上手。

3. 存储库

（1）pandas：一个强大的数据分析库，提供数据结构和数据分析工具，支持多种文件格式。
（2）SQLite：一个轻量级的数据库，支持SQL查询，适用于小型爬虫项目。

三、编写一个简单的Python爬虫

以爬取豆瓣电影TOP250为例，讲解如何编写一个简单的Python爬虫。

设计爬虫需求
爬取豆瓣电影TOP250的电影名称、评分、导演等信息。
编写代码
（1）使用requests库发送HTTP请求，获取网页源代码。
（2）使用BeautifulSoup库解析网页内容，提取所需数据。
（3）使用pandas库存储数据，并保存为CSV文件。
运行爬虫并展示结果

import requests
from bs4 import BeautifulSoup
import pandas as pd
# 豆瓣电影TOP250的基础URL
base_url = 'https://movie.douban.com/top250'
# 定义一个函数来获取页面内容
def get\_page\_content(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        print('请求页面失败:', response.status_code)
        return None
# 定义一个函数来解析页面内容
def parse\_page\_content(html):
    soup = BeautifulSoup(html, 'html.parser')
    movie_list = soup.find_all('div', class_='item')
    movies = []
    for movie in movie_list:
        title = movie.find('span', class_='title').get_text()
        rating = movie.find('span', class_='rating\_num').get_text()
        director = movie.find('p', class_='').find('a').get_text()
        movies.append({'title': title, 'rating': rating, 'director': director})
    return movies
# 定义一个函数来保存数据到CSV文件
def save\_to\_csv(movies):
    df = pd.DataFrame(movies)
    df.to_csv('douban\_top250.csv', index=False, encoding='utf\_8\_sig')
# 主函数，用于运行爬虫
def main():
    movies = []
    for i in range(0, 250, 25):  # 豆瓣电影TOP250分为10页，每页25部电影
        url = f'{base\_url}?start={i}&filter='
        html = get_page_content(url)
        if html:
            movies.extend(parse_page_content(html))
    save_to_csv(movies)
    print('爬取完成，数据已保存到douban\_top250.csv')
# 运行主函数
if __name__ == '\_\_main\_\_':
    main()

在实际使用中，需要根据豆瓣网站的实际情况调整以下内容：

URL和参数：根据豆瓣电影的URL结构和参数进行设置。
BeautifulSoup选择器：根据网页源代码的结构编写正确的选择器来提取数据。
此外，为了遵守网站的使用协议和法律法规，请确保在编写爬虫时遵循以下几点：

遵守Robots协议，不爬取网站禁止爬取的内容。
设置合理的请求间隔，避免对网站服务器造成过大压力。
如果遇到网站的反爬措施，如验证码、IP封禁等，请合理应对，遵守网站规定。
使用爬虫获取的数据请勿用于商业目的或侵犯他人隐私。
最后，由于网站结构可能会发生变化，上述代码可能需要根据实际情况进行调整。在实际应用中，请确保您的爬虫行为合法合规。

四、爬虫实战案例

以爬取某招聘网站职位信息为例，讲解如何编写一个实用的Python爬虫。

1. 分析网站结构

通过观察招聘网站的URL、参数和页面结构，找到职位信息的来源。

2. 编写爬虫代码

（1）使用requests库发送带参数的HTTP请求，获取职位列表。
（2）使用lxml库解析职位列表，提取职位详情页URL。
（3）使用PyQuery库解析职位详情页，提取职位信息。
（4）使用SQLite数据库存储职位信息。
3. 结果展示与分析

import requests
from lxml import etree
from pyquery import PyQuery as pq
import sqlite3
# 创建或连接SQLite数据库
conn = sqlite3.connect('job.db')
cursor = conn.cursor()
# 创建职位信息表
cursor.execute('CREATE TABLE IF NOT EXISTS job (id INTEGER PRIMARY KEY, title TEXT, salary TEXT, company TEXT, location TEXT)')
# 分析网站结构后得到的职位列表URL
url = 'https://www.example.com/jobs'
# 发送HTTP请求获取职位列表
params = {
    'page': 1,  # 假设页面参数为page，这里请求第1页
    'city': 'beijing'  # 假设城市参数为city，这里请求北京地区的职位
 **自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**

![img](https://img-blog.csdnimg.cn/img_convert/e0ffeb1b346d1e0e7b8a44f49b137bcf.png)

![img](https://img-blog.csdnimg.cn/img_convert/771dbd9e9e192407b21db0716d6e4154.png)

![img](https://img-blog.csdnimg.cn/img_convert/73af98f21e54d24c48eb1b122cc32da9.png)

![img](https://img-blog.csdnimg.cn/img_convert/5f4198369718aaa1d7d12e7cf60130b1.png)

![img](https://img-blog.csdnimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png)

![img](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）**

43c1008edf79.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）**

<img src="https://img-community.csdnimg.cn/images/fd6ebf0d450a4dbea7428752dc7ffd34.jpg" alt="img" style="zoom:50%;" />

WJud11

关注

24
点赞
踩
20

收藏

觉得还不错? 一键收藏
0
评论
Python爬虫详解：原理、常用库与实战案例(2)

爬虫首先向目标网站发送HTTP请求，请求可以包含多种参数，如URL、请求方法（GET或POST）、请求头（Headers）等。它模拟人类浏览网页的行为，发送HTTP请求，获取网页源代码，再通过解析、提取等技术手段，获取所需数据。（1）requests：简洁、强大的HTTP库，支持HTTP连接保持和连接池，支持SSL证书验证、Cookies等。（1）BeautifulSoup：一个HTML和XML的解析库，简单易用，支持多种解析器。（2）SQLite：一个轻量级的数据库，支持SQL查询，适用于小型爬虫项目。
复制链接

扫一扫