Python爬虫小白教学

Python 爬虫小白教程

Python的爬虫是很强大的，本文将帮你了解Python爬虫并编写一个爬虫程序

第一步：准备工作

确保你的计算机上安装了 Python，如果还没有安装，可以到 官网下载。同时，建议下载一个编辑器（应该没人用记事本写代码吧） VS Code 或 PyCharm。

安装所需库

在开始之前，需要安装两个库：requests 和 BeautifulSoup。打开终端或命令提示符，输入以下命令进行安装：

pip install requests beautifulsoup4

第二步：创建爬虫代码

1. 创建一个新的 py 文件
2. 在 py文件 中输入以下代码：

import requests
#发送 HTTP 请求
from bs4 import BeautifulSoup
#解析 HTML 文档

# 目标网址
url = 'https://example.com/'

# 发起 GET 请求并获取网页内容
response = requests.get(url)

# 检查状态码
if response.status_code == 200:
    # 解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 获取网页标题
    title = soup.title.string
    print('网页标题:', title)

    # 获取所有段落内容
    paragraphs = soup.find_all('p')
    for i, p in enumerate(paragraphs):
        print(f'段落 {i + 1}:', p.text)
else:
    print('请求失败，状态码:', response.status_code)

第三步：运行你的爬虫

1. 保存你的py文件
2. 在命令提示符中，cd到你的文件所在的目录，并输入以下命令运行爬虫：

python web_scraper.py

你将看到网页的标题和所有段落的内容打印在终端中。