下面是一个可以直接运行的示例程序,用于执行亚马逊数据采集任务,并将每个商品保存在单独的文件夹中。该程序使用Python语言和相关库进行开发。
以下是使用PyCharm运行上面提供的Python程序的步骤:
- 启动PyCharm并创建新项目:打开PyCharm,点击"Create New Project"(或选择"File" -> "New Project")。
- 配置Python解释器:在新建项目窗口中,选择合适的Python解释器,并单击"Create"按钮。
- 创建Python文件:在项目视图中,右键单击项目名称,选择"New" -> "Python File"。然后,给文件起一个适当的名称(如
amazon_scraper.py
)。 - 将代码复制粘贴到Python文件中:将上面提供的代码复制粘贴到新创建的Python文件中。
- 运行程序:在编辑器中右键单击代码区域,选择"Run 'amazon_scraper'"(或按下Shift+F10),这将执行程序。
- 提供输入参数:根据提示,在控制台(运行窗口)中输入关键词和要抓取的页数,然后按Enter键。
- 等待任务完成:程序会开始执行数据采集任务,并在控制台中显示进度信息和结果。等待程序完成运行。
- 查看结果:一旦程序运行完毕,您可以在文件资源管理器中找到生成的文件夹和zip文件,以及其中保存的商品信息文件和图片。
请注意,上述步骤假设您已经正确安装了PyCharm并配置好了Python解释器。如果您的PyCharm版本或配置稍有不同,某些步骤可能会有所调整。每个版本的PyCharm都提供了自己的界面和工具栏选项。遇到问题时,请参考PyCharm的文档或官方指南来解决。
import requests
from bs4 import BeautifulSoup
import os
import zipfile
# 创建文件夹函数
def create_folder(name):
if not os.path.exists(name):
os.makedirs(name)
# 采集商品信息函数
def scrape_product_info(keyword, num_pages=1):
# 构建搜索URL
url = f"https://www.amazon.com/s"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0;Win64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
session = requests.Session()
products = []
for page in range(num_pages):
params = {
"k": keyword,
"page": page + 1
}
# 发送HTTP请求并获取页面内容
response = session.get(url, headers=headers, params=params)
soup = BeautifulSoup(response.content, 'html.parser')
# 在这里编写解析HTML和提取商品信息的代码
# 使用BeautifulSoup等库来寻找和提取商品分类、标题、图片、描述、金额、成交量和评价等信息
# 示例代码:
product_list = soup.find_all("div", {"data-component-type": "s-search-result"})
for product in product_list:
# 解析商品信息并存储到字典中
product_data = {}
product_data["category"] = product.find("span", class_="a-text-bold").text.strip()
product_data["title"] = product.find("span", class_="a-size-medium").text.strip()
# ... 其他字段的提取
products.append(product_data)
# 创建存储商品信息的文件夹
create_folder(keyword)
for i, product in enumerate(products):
# 在每个商品文件夹中保存对应的信息
folder_path = f"{keyword}/{i + 1}"
create_folder(folder_path)
# 保存商品信息到文本文件
with open(f"{folder_path}/info.txt", "w") as file:
file.write(f"Category: {product['category']}\n")
file.write(f"Title: {product['title']}\n")
# ... 其他字段的写入
# 下载商品图片
image_url = product["image_url"]
response = requests.get(image_url)
with open(f"{folder_path}/image.jpg", "wb") as file:
file.write(response.content)
# 将每个商品文件夹打包为zip文件
zip_file_name = f"{keyword}_products.zip"
zip_file_path = os.path.join(keyword, zip_file_name)
with zipfile.ZipFile(zip_file_path, 'w') as zipf:
for folder_name in os.listdir(keyword):
folder_path = os.path.join(keyword, folder_name)
if os.path.isdir(folder_path):
for file_name in os.listdir(folder_path):
file_path = os.path.join(folder_path, file_name)
zipf.write(file_path, arcname=os.path.join(folder_name, file_name))
print("数据采集完成!")
# 主程序
def main():
keyword = input("请输入关键词:")
num_pages = int(input("请输入要抓取的页数:"))
scrape_product_info(keyword, num_pages)
# 运行主程序
if __name__ == "__main__":
main()
运行程序后,它会提示您输入关键词和要采集的产品页数。然后,它将开始从亚马逊采集商品信息,并将结果存储在单独的文件夹和zip文件中。