python爬虫常用的库

以下是一些常见的 Python 爬虫库：

一、Requests

用于发送 HTTP 请求，非常简洁易用。它可以轻松地获取网页内容，并支持各种 HTTP 方法（GET、POST 等）和设置请求头、参数等。

import requests

response = requests.get('https://www.example.com')
print(response.text)

二、BeautifulSoup

用于解析 HTML 和 XML 文档。它可以从网页中提取特定的元素、文本内容等，配合 Requests 使用可以方便地进行网页内容的抓取和解析。

from bs4 import BeautifulSoup
import requests

response = requests.get('https://www.example.com')
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title.string
print(title)

三、Scrapy

一个功能强大的爬虫框架。它提供了高度定制化的功能，包括请求调度、数据提取、中间件处理等，可以处理大规模的爬虫任务。

示例代码（创建一个简单的爬虫项目）：

1. 创建项目：

   scrapy startproject myproject

1. 在项目的 spiders 目录下创建一个爬虫文件，比如 myspider.py：

   import scrapy

   class MySpider(scrapy.Spider):
       name = 'myspider'
       start_urls = ['https://www.example.com']

       def parse(self, response):
           # 提取数据的逻辑
           pass

1. 运行爬虫：

   scrapy crawl myspider

四、Selenium

用于自动化浏览器操作。可以模拟用户在浏览器中的行为，如点击、输入、滚动等，对于需要处理动态页面或与 JavaScript 交互的情况非常有用。

示例代码：

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.example.com')
element = driver.find_element_by_id('some-element-id')
print(element.text)
driver.quit()

五、lxml

也是一个用于处理 XML 和 HTML 的库，速度快且功能强大。可以结合 Requests 等库进行网页解析。

示例代码：

from lxml import html
import requests

response = requests.get('https://www.example.com')
tree = html.fromstring(response.text)
title = tree.xpath('//title/text()')[0]
print(title)

 

以下是一个综合使用Requests、BeautifulSoup和Scrapy来爬取网页信息并输出结果的示例：

首先，使用Requests和BeautifulSoup获取网页标题和部分内容：

import requests
from bs4 import BeautifulSoup

url = "https://www.example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title.string
print(f"页面标题：{title}")

# 获取第一个段落的内容
first_paragraph = soup.find('p').text
print(f"第一个段落内容：{first_paragraph}")

然后，创建一个Scrapy项目，假设这个项目名为combined_spider，在项目的spiders目录下创建一个爬虫文件combined_spider.py：

import scrapy
from bs4 import BeautifulSoup

class CombinedSpider(scrapy.Spider):
    name = 'combined_spider'
    start_urls = ['https://www.example.com']

    def parse(self, response):
        # 使用 BeautifulSoup 解析响应内容，获取所有链接
        soup = BeautifulSoup(response.text, 'html.parser')
        links = soup.find_all('a')
        for link in links:
            yield {
                'link': link.get('href')
            }

        # 获取页面中的所有图片链接
        images = response.css('img::attr(src)').getall()
        for image in images:
            yield {
                'image_link': image
            }

你可以在项目根目录下运行以下命令来启动这个爬虫：

scrapy crawl combined_spider

请注意，上述代码中的https://www.example.com只是一个示例网址，你需要将其替换为实际要爬取的网址。同时，在实际使用中，请确保你的爬取行为遵守网站的使用条款和法律法规。