【python基础】学了这么久的python 你知道什么是爬虫吗？

bagell

已于 2024-01-11 14:06:33 修改

阅读量440

点赞数

文章标签： python 爬虫开发语言

于 2023-09-01 15:31:34 首次发布

本文链接：https://blog.csdn.net/bagell/article/details/132624651

版权

爬虫（又称网络爬虫，网页爬虫）是一种自动地访问网站的软件系统，它常常被用来爬取网站上的信息。爬虫可以在网站更新时自动发现新的网页，或者当网站搜索引擎索引需要更新时使用。

爬虫的工作流程通常如下：

从某个网页开始，爬虫会解析这个网页的 HTML 代码，并找出其中的链接。

爬虫会继续访问这些链接，并解析新网页的 HTML 代码，找出更多的链接。

重复这个过程，直到爬虫爬取了整个网站，或者直到达到终止条件为止。

下面是使用 Python 编写爬虫的简单教程：

安装 Python 和爬虫库

要使用 Python 编写爬虫，首先需要安装 Python 解释器。可以在 Python 官网上下载安装包，或者使用系统自带的包管理器安装。

接下来，需要安装爬虫库。最常用的爬虫库是 Beautiful Soup，它可以方便地解析 HTML 和 XML 文档。可以使用以下命令安装 Beautiful Soup：

pip install beautifulsoup4

导入库

在 Python 代码中使用虫库之前，需要先导入库。在使用 Beautiful Soup 爬虫时，可以使用以下代码导入库：

from bs4 import BeautifulSoup

获取 HTML 代码。

爬虫需要爬取的网页的 HTML 代码是存储在网络服务器上的。可以使用 Python 的 requests 库发送 HTTP 请求，获取网页的 HTML 代码。

示例代码如下：

import requests
 
URL = "http://www.example.com"
page = requests.get(URL)
html_code = page.text

解析 HTML 代码

使用 Beautiful Soup 解析 HTML 代码，可以方便地提取信息。

示例代码如下：

soup = BeautifulSoup(html_code, 'html.parser')

保存信息

爬取到的信息可以存储到文件或数据库中，供以后使用。

示例代码如下：

# 将信息存储到文件中
with open('info.txt', 'w') as f:
    for paragraph in paragraphs:
        f.write(paragraph.text + '\n')
 
# 将信息存储到数据库中
import sqlite3
 
conn = sqlite3.connect('info.db')
cursor = conn.cursor()
 
# 建表
cursor.execute('''CREATE TABLE IF NOT EXISTS info (id INTEGER PRIMARY KEY, text TEXT)''')
 
# 插入数据
for i, paragraph in enumerate(paragraphs):
    cursor.execute('''INSERT INTO info (id, text) VALUES (?, ?)''', (i, paragraph.text))
 
conn.commit()

处理异常。

在爬取过程中，可能会遇到各种异常情况，比如网络连接错误、网页不存在、服务器错误等。应当在爬虫代码中处理这些异常，以保证爬虫的稳定性。

示例代码如下：

import requests
 
URL = "http://www.example.com"
 
try:
    page = requests.get(URL)
    html_code = page.text
except requests.exceptions.RequestException as e:
    print(e)

限制爬取速度。

爬虫的爬取速度可能会对网站造成压力。为了避免过度占用网站的资源，可以在爬虫代码中设置延时，限制爬取速度。

示例代码如下：

import time
time.sleep(1)  # 延时 1 秒

反爬虫机制。

一些网站会使用反爬虫机制来阻止爬虫访问。这些机制包括禁用爬虫的 IP 地址、使用 CAPTCHA 验证码、设置 User-Agent 等。应当遵守网站的使用条款，并在爬虫代码中考虑这些机制。

示例代码如下：

import requests
 
URL = "http://www.example.com"
 
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
 
page = requests.get(URL, headers=headers)
html_code = page.text

爬取动态网页。

许多网页的内容是通过 JavaScript 动态生成的。这种网页叫做动态网页。爬虫无法直接获取动态网页的 HTML 代码，需要使用特殊的方法来爬取。

常用的方法有使用浏览器控制台调试网页，或者使用网页自带的 API 接口获取数据。

将爬虫封装成函数。

当爬虫的代码较复杂时，可以将爬虫封装成函数。这样可以方便地调用爬虫，并且可以在不同的程序中复用爬虫代码。

示例代码如下：

def crawl(url):

  """爬取网页内容"""
    page = requests.get(url)
    html_code = page.text
    soup = BeautifulSoup(html_code, 'html.parser')
    paragraphs = soup.find_all('p')
    return [paragraph.text for paragraph in paragraphs]

调用爬虫函数的代码如下：

info = crawl("http://www.example.com")

爬虫是一种强大的工具，可以帮助我们获取大量的信息。但是，爬虫也要遵守网络道德，不能滥用爬虫。应当尊重网站的版权和隐私权，避免爬取未经授权的信息。

在编写爬虫时，还有一些注意事项和优化方法可以考虑：

爬虫的爬取速度和效率可以通过多线程或分布式爬虫来提升。

爬虫代码中应当添加注释，方便以后阅读和维护。

在爬取过程中，应当避免给网站造成过大的压力。可以设置延时，或者使用代理服务器。

在爬取网站时，应当遵守网站的 robots.txt 文件。这个文件用来告诉爬虫哪些页面是不允许爬取的。

爬虫可以使用多种语言实现，不仅仅是 Python。可以根据需求和自身的技能选择合适的语言。

爬取 AJAX 网页。

AJAX 网页是使用 JavaScript 动态更新网页的一种技术。爬虫无法直接获取 AJAX 网页的内容，需要使用特殊的方法来爬取。

常用的方法有使用浏览器控制台调试网页，或者使用网页自带的 API 接口获取数据。

使用代理服务器。

当爬虫的爬取速度过快时，可能会被网站封锁 IP 地址。为了避免这种情况，可以使用代理服务器。代理服务器可以帮助爬虫更换 IP 地址，从而避免被封锁。

使用代理服务器的代码如下：

mport requests
 
URL = "http://www.example.com"
 
proxies = {
    'http': 'http://192.168.0.1:8080',
    'https': 'https://192.168.0.1:8080'
}
 
page = requests.get(URL, proxies=proxies)

使用预处理库优化爬虫

当爬虫的任务较为复杂时，可以使用预处理库来优化爬虫。预处理库可以帮助爬虫高效地处理大量数据，并且可以提供各种便捷的功能。

常用的预处理库有 NumPy、pandas 等。

使用缓存加速爬虫

爬虫在爬取过程中，可能会多次访问同一个网页。为了减少不必要的网络请求，可以使用缓存机制来加速爬虫。

缓存机制可以将已经爬取过的网页存储在本地，以便下次爬取时直接使用。这样可以大大减少网络请求的次数，提高爬虫的效率。

使用缓存的代码如下：

mport requests
import os
 
URL = "http://www.example.com"
 
# 将网页存储到本地
def save_page(url, filename):
    if not os.path.exists(filename):  # 如果文件不存在
        page = requests.get(url)
        with open(filename, 'w') as f:
            f.write(page.text)
 
# 读取本地网页
def read_page(filename):
    with open(filename, 'r') as f:
        return f.read()
 
# 使用缓存
def get_page(url):
    filename = url.split('/')[-1] + '.html'
    if not os.path.exists(filename):
        save_page(url, filename)
    return read_page(filename)
 
html_code = get_page(URL)

使用多线程加速爬虫

在爬取网页时，可以使用多线程的方法来加速爬虫。多线程可以让爬虫同时爬取多个网页，从而提高效率。

使用多线程的代码如下：

import threading
import time
 
URLs = [
    "http://www.example.com/1",
    "http://www.example.com/2",
    "http://www.example.com/3",
]
 
# 爬取网页
def crawl(url):
    page = requests.get(url)
    html_code = page.text
 
# 多线程爬取
threads = []
for url in URLs:
    t = threading.Thread(target=crawl, args=(url,))
    threads.append(t)
    t.start()
 
# 等待线程结束
for t in threads:
    t.join()

注意：使用多线程需要注意线程安全的问题。

使用分布式爬虫加速爬取

在爬取大量数据时，可以使用分布式爬虫的方法来加速爬取。分布式爬虫可以使用多台机器同时爬取网页，从而大大提升爬虫的效率。

使用分布式爬虫的代码如下：

from multipyparallel import Client

# 连接到本地的 IPython 并行服务器
rc = Client()
 
# 爬取网页
def crawl(url):
    page = requests.get(url)
    html_code = page.text
 
# 并行爬取
result = rc[:].apply_async(crawl, URLs)
 
# 等待爬取完成
result.wait()