这个代码有问题吗，python写的亚马逊采集程序-CSDN博客

本文链接：https://blog.csdn.net/Gdhjdjdvdg/article/details/131857302

下面是一个可以直接运行的示例程序，用于执行亚马逊数据采集任务，并将每个商品保存在单独的文件夹中。该程序使用Python语言和相关库进行开发。

以下是使用PyCharm运行上面提供的Python程序的步骤：

启动PyCharm并创建新项目：打开PyCharm，点击"Create New Project"（或选择"File" -> "New Project"）。
配置Python解释器：在新建项目窗口中，选择合适的Python解释器，并单击"Create"按钮。
创建Python文件：在项目视图中，右键单击项目名称，选择"New" -> "Python File"。然后，给文件起一个适当的名称（如amazon_scraper.py）。
将代码复制粘贴到Python文件中：将上面提供的代码复制粘贴到新创建的Python文件中。
运行程序：在编辑器中右键单击代码区域，选择"Run 'amazon_scraper'"（或按下Shift+F10），这将执行程序。
提供输入参数：根据提示，在控制台（运行窗口）中输入关键词和要抓取的页数，然后按Enter键。
等待任务完成：程序会开始执行数据采集任务，并在控制台中显示进度信息和结果。等待程序完成运行。
查看结果：一旦程序运行完毕，您可以在文件资源管理器中找到生成的文件夹和zip文件，以及其中保存的商品信息文件和图片。

请注意，上述步骤假设您已经正确安装了PyCharm并配置好了Python解释器。如果您的PyCharm版本或配置稍有不同，某些步骤可能会有所调整。每个版本的PyCharm都提供了自己的界面和工具栏选项。遇到问题时，请参考PyCharm的文档或官方指南来解决。

import requests
from bs4 import BeautifulSoup
import os
import zipfile

# 创建文件夹函数
def create_folder(name):
    if not os.path.exists(name):
        os.makedirs(name)


# 采集商品信息函数
def scrape_product_info(keyword, num_pages=1):
    # 构建搜索URL
    url = f"https://www.amazon.com/s"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0;Win64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
    session = requests.Session()

    products = []
    for page in range(num_pages):
        params = {
            "k": keyword,
            "page": page + 1
        }

        # 发送HTTP请求并获取页面内容
        response = session.get(url, headers=headers, params=params)
        soup = BeautifulSoup(response.content, 'html.parser')

        # 在这里编写解析HTML和提取商品信息的代码
        # 使用BeautifulSoup等库来寻找和提取商品分类、标题、图片、描述、金额、成交量和评价等信息
        # 示例代码:
        product_list = soup.find_all("div", {"data-component-type": "s-search-result"})

        for product in product_list:
            # 解析商品信息并存储到字典中
            product_data = {}
            product_data["category"] = product.find("span", class_="a-text-bold").text.strip()
            product_data["title"] = product.find("span", class_="a-size-medium").text.strip()

            # ... 其他字段的提取

            products.append(product_data)

    # 创建存储商品信息的文件夹
    create_folder(keyword)

    for i, product in enumerate(products):
        # 在每个商品文件夹中保存对应的信息
        folder_path = f"{keyword}/{i + 1}"
        create_folder(folder_path)

        # 保存商品信息到文本文件
        with open(f"{folder_path}/info.txt", "w") as file:
            file.write(f"Category: {product['category']}\n")
            file.write(f"Title: {product['title']}\n")
            # ... 其他字段的写入

        # 下载商品图片
        image_url = product["image_url"]
        response = requests.get(image_url)
        with open(f"{folder_path}/image.jpg", "wb") as file:
            file.write(response.content)

    # 将每个商品文件夹打包为zip文件
    zip_file_name = f"{keyword}_products.zip"
    zip_file_path = os.path.join(keyword, zip_file_name)
    with zipfile.ZipFile(zip_file_path, 'w') as zipf:
        for folder_name in os.listdir(keyword):
            folder_path = os.path.join(keyword, folder_name)
            if os.path.isdir(folder_path):
                for file_name in os.listdir(folder_path):
                    file_path = os.path.join(folder_path, file_name)
                    zipf.write(file_path, arcname=os.path.join(folder_name, file_name))

    print("数据采集完成！")


# 主程序
def main():
    keyword = input("请输入关键词：")
    num_pages = int(input("请输入要抓取的页数："))
    scrape_product_info(keyword, num_pages)


# 运行主程序
if __name__ == "__main__":
    main()

运行程序后，它会提示您输入关键词和要采集的产品页数。然后，它将开始从亚马逊采集商品信息，并将结果存储在单独的文件夹和zip文件中。