简易爬虫简介

最新推荐文章于 2024-06-06 10:23:10 发布

图像强

最新推荐文章于 2024-06-06 10:23:10 发布

阅读量1.9k

点赞数 23

文章标签：爬虫 python

本文链接：https://blog.csdn.net/jiexiang5396/article/details/137586067

版权

爬虫基础概念

什么是网络爬虫？

在这里插入图片描述

就像蜘蛛会爬行网上的网页一样，网络爬虫是一种自动浏览互联网的工具。它们可以访问网站并收集网站上的信息，就像你在网上搜索一样，但是是由程序自动完成的。

爬虫的作用和应用领域

爬虫可以用来获取各种各样的信息，比如新闻、电影信息、商品价格等等。它们在搜索引擎、数据分析、竞争情报等领域都有广泛的应用。

爬虫的工作原理

爬虫工作的原理就像你在网上冲浪一样。它们首先发送请求给网站，请求获取网页内容，然后解析这些内容，找到需要的信息，最后把这些信息保存下来。

HTTP 基础

HTTP 请求和响应

在互联网上，信息的传输靠的是一种叫做HTTP的协议。当你在浏览器里输入网址并按下回车时，浏览器会发送一个HTTP请求给网站，请求获取网页内容。网站收到请求后，会发送一个HTTP响应，里面包含着请求的网页内容。

请求方法（GET、POST 等）

HTTP请求有不同的方法，最常见的是GET和POST。GET用于请求获取网页内容，而POST用于提交数据给服务器，比如填写表单时使用的提交按钮。

响应状态码（200、404、503 等）

网站在收到请求后会返回一个状态码，告诉浏览器请求的结果。比如，状态码200表示请求成功，404表示页面不存在，503表示服务器暂时不可用。
在这里插入图片描述

请求头和响应头

HTTP请求和响应还有一些附加的信息，叫做请求头和响应头。请求头包含了请求的一些额外信息，比如浏览器的类型和支持的编码格式。响应头包含了服务器返回的一些额外信息，比如响应的内容类型和编码格式。

数据解析

HTML 解析

HTML是网页的基本语言，就像是网页的骨架一样。爬虫需要通过解析HTML文档来找到需要的信息，就像找针在草堆中一样。我们可以使用工具或库来帮助解析HTML，从而提取出我们需要的数据。

CSS 解析

CSS是用来美化网页的，但它也可以帮助我们更好地定位和提取网页上的信息。通过解析CSS，我们可以找到页面上特定元素的位置和样式，从而更精准地提取数据。

XPath 解析

XPath是一种用来在XML文档中定位节点的语言，但它也可以应用在HTML文档上。XPath语法简单直观，可以帮助我们快速准确地定位到需要的数据。

JSON 解析

JSON是一种常用的数据格式，很多网站的数据都是以JSON的形式返回的。我们可以使用JSON解析库来处理这些数据，从而提取出我们需要的信息。 JSON解析相比其他解析方式更加简单快捷。

使用爬虫框架

Scrapy 框架简介

Scrapy是一个强大的Python爬虫框架，它提供了一整套工具和组件，帮助我们快速高效地构建爬虫。它具有高度的可定制性和灵活性，适用于各种规模和复杂度的爬虫项目。

安装和配置 Scrapy

安装Scrapy很简单，只需要使用pip命令即可。安装完成后，我们可以对Scrapy进行一些基本的配置，比如设置爬虫的名称、起始网址等。

pip install scrapy

编写爬虫代码

使用Scrapy编写爬虫代码非常简单，只需要定义一个爬虫类并实现一些方法即可。我们可以在这些方法中指定如何发送请求、解析响应、提取数据等操作。

运行和调试爬虫

运行和调试Scrapy爬虫也很方便。我们可以使用命令行工具来启动爬虫，监控爬取过程，并查看爬取结果。同时，Scrapy还提供了一些调试工具和技巧，帮助我们快速定位和解决问题。

数据存储与管理

存储到本地文件

爬虫获取的数据可以保存到本地文件中，常见的格式包括文本文件（如CSV、TXT）和二进制文件（如图片、视频）。我们可以使用Python内置的文件操作函数或第三方库来实现数据的写入和读取。

存储到数据库（MySQL、MongoDB 等）

除了保存到本地文件，爬虫也可以将数据存储到数据库中，以便后续的管理和分析。常见的数据库包括关系型数据库（如MySQL、SQLite）和非关系型数据库（如MongoDB）。我们可以使用相应的数据库驱动或ORM框架来实现数据的存取操作。

数据清洗和去重

在存储数据之前，我们可能需要对数据进行清洗和去重处理，以确保数据的质量和一致性。清洗数据可以包括去除无效或重复的数据、修正数据格式、填充缺失值等操作，从而使数据更加规范和可用。

小练习

爬虫步骤

1. 准备工作

安装 Python：确保你的计算机上安装了Python。
安装 requests 和 BeautifulSoup：使用pip安装requests库和BeautifulSoup库，它们是爬虫常用的工具。

2. 编写爬虫代码

import requests
from bs4 import BeautifulSoup

# 发送HTTP请求获取网页内容
url = 'https://example.com'
response = requests.get(url)

# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')

# 提取需要的信息
# 例如，找到所有标题为<h1>的元素
titles = soup.find_all('h1')

# 打印提取的信息
for title in titles:
    print(title.text)

3. 运行爬虫

打开命令行界面，进入存放爬虫代码的文件夹。
运行Python脚本：在命令行中输入python your_spider.py（假设你的爬虫代码保存在名为your_spider.py的文件中）。

4. 分析和处理数据

查看爬虫输出的信息，分析是否成功提取到了需要的数据。
可以进一步处理数据，比如存储到文件或数据库中，进行数据清洗等操作。

5. 注意事项

尊重网站的规则：遵守Robots协议，不要对不允许爬取的网站进行爬取。
避免频繁访问同一网站：过于频繁地访问同一网站可能会被网站封禁IP，所以要控制爬取速度。
处理异常情况：考虑到网络不稳定等情况，添加适当的异常处理机制，以保证爬虫的稳定性。

小实战

我们来实战一个简单的例子：从百度首页获取所有的链接。

import requests
from bs4 import BeautifulSoup

# 发送HTTP请求获取百度首页内容
url = 'https://www.baidu.com'
response = requests.get(url)

# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')

# 找到所有的链接
links = soup.find_all('a')

# 打印链接
for link in links:
    href = link.get('href')
    if href:
        print(href)