python 爬取北京新发地市场的数据

最新推荐文章于 2023-07-16 00:50:18 发布

DJkamm

最新推荐文章于 2023-07-16 00:50:18 发布

阅读量866

点赞数

文章标签： python 开发语言爬虫

本文链接：https://blog.csdn.net/djkamm/article/details/126805794

版权

本文详细介绍了如何运用Python编程语言进行网络爬虫开发，以获取北京新发地市场的实时数据。通过讲解关键的requests库进行HTTP请求，BeautifulSoup库解析HTML页面，以及数据存储的方法，读者将掌握基础的网络爬虫技术，并能实际应用到获取市场动态信息的场景中。

摘要由CSDN通过智能技术生成

import csv
import json
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor  # 导入线程池和进程池
import requests

# 创建数据表
file = open(r"D:\桌面\北京新发地数据爬取.csv", mode="w", encoding="utf-8",newline='')
file_csv = csv.writer(file)
file_csv.writerow(["ClassFication", "Name", "low-price", "mean-price", "high-price", "release-time"])


def download_one_page(url, page):

    # 请求头信息
    param = {
        "count": "359009",
        "current": f"{page}",
        "limit": "20"
    }

    # 拿到页面源代码
    resp = requests.get(url,params=param)
    res_dic = json.loads(resp.text)
    res_list = res_dic["list"]
    for i in res_list:
        print(i["prodCat"], i["prodName"], i["lowPrice"], i["avgPrice"], i["highPrice"], i["pubDate"])