爬取北京新发地当天货物信息并展示十五天价格变化(一)---对爬取到的数据进行处理提取出物品种类和名称

最新推荐文章于 2024-01-21 23:27:44 发布
最新推荐文章于 2024-01-21 23:27:44 发布
阅读量235 收藏
点赞数 1
文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62975494/article/details/132541807
版权

1.处理数据

import requests
url='http://www.xinfadi.com.cn/getPriceData.html'
data={
'limit': '20',
'current': '1',
'pubDateStartTime': '2023/07/09',
'pubDateEndTime': '2023/07/09',
'prodPcatid': '',
'prodCatid': '',
'prodName': ''
}
res=requests.post(url=url,data=data).json()#获取第一页数据
count=res['count']                #提取出货物的总数
data['limit'] =count              #将一页显示的数据更改为货物总数这样就能一页得到所有数据
res2=requests.post(url,data=data).json()
print(res2)

在这里插入图片描述

通过观察这个字典的结构我们发现所有的信息都储存在  
list所对应的列表中其中列表中的一个元素代表一个物品所以我们需要先将
list 从中提取出来

#我们将返回的结果都储存在了res2中
list=res2['list']

我们会得到一组这样的数据‘

[{'id': 1468762, 'prodName': '大白菜', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '0.5', 'highPrice': '0.7', 'avgPrice': '0.6', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468761, 'prodName': '娃娃菜', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '0.8', 'highPrice': '1.0', 'avgPrice': '0.9', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468760, 'prodName': '小白菜', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '0.7', 'highPrice': '1.3', 'avgPrice': '1.0', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468759, 'prodName': '圆白菜', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '0.6', 'highPrice': '1.2', 'avgPrice': '0.9', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468758, 'prodName': '紫甘蓝', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '1.2', 'highPrice': '1.3', 'avgPrice': '1.25', 'place': '冀宁', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468757, 'prodName': '芹菜', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '1.3', 'highPrice': '1.6', 'avgPrice': '1.45', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468756, 'prodName': '西芹', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '2.5', 'highPrice': '2.8', 'avgPrice': '2.65', 'place': '鲁辽', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468755, 'prodName': '菠菜', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '1.5', 'highPrice': '2.0', 'avgPrice': '1.75', 'place': '冀蒙', 'specInfo': '长\\短', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468754, 'prodName': '莴笋', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '0.5', 'highPrice': '1.0', 'avgPrice': '0.75', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468753, 'prodName': '团生菜', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '1.0', 'highPrice': '1.5', 'avgPrice': '1.25', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468752, 'prodName': '散叶生菜', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '1.0', 'highPrice': '1.3', 'avgPrice': '1.15', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468751, 'prodName': '油菜', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '1.0', 'highPrice': '1.3', 'avgPrice': '1.15', 'place': '冀京', 'specInfo': '大\\小', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468750, 'prodName': '香菜', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '2.0', 'highPrice': '3.0', 'avgPrice': '2.5', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468749, 'prodName': '茴香', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '1.0', 'highPrice': '1.5', 'avgPrice': '1.25', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468748, 'prodName': '韭菜', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '1.0', 'highPrice': '1.5', 'avgPrice': '1.25', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468747, 'prodName': '苦菊', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '1.5', 'highPrice': '3.2', 'avgPrice': '2.35', 'place': '冀辽', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468746, 'prodName': '油麦菜', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '1.5', 'highPrice': '2.0', 'avgPrice': '1.75', 'place': '冀辽', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468745, 'prodName': '散菜花', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '1.8', 'highPrice': '2.5', 'avgPrice': '2.15', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468744, 'prodName': '绿菜花', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '1.4', 'highPrice': '2.0', 'avgPrice': '1.7', 'place': '冀', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}, {'id': 1468743, 'prodName': '绿豆芽', 'prodCatid': 1186, 'prodCat': '蔬菜', 'prodPcatid': None, 'prodPcat': '', 'lowPrice': '0.95', 'highPrice': '1.0', 'avgPrice': '0.98', 'place': '', 'specInfo': '', 'unitInfo': '斤', 'pubDate': '2023-07-09 00:00:00', 'status': None, 'userIdCreate': 138, 'userIdModified': None, 'userCreate': 'admin', 'userModified': None, 'gmtCreate': None, 'gmtModified': None}]

我们现在需要的数据有名称 prodName
产品的型号 specInfo
产品的产地 place

for i in list:  #循环读取list中的每一个元素
	prodName=i['prodName']
	specInfo=i['specInfo']
	place=i['place']
	#因为specInfo中含有特殊符号不便于操作我们对其进行特殊处理
	s=specInfo
	s=s.replace('>','大于')
    s=s.replace('/','并且')
    s = s.replace('-', '到')
    s = s.replace('\\', '或者')
	#处理完后我们对数据进行组装以-隔开
	name= prodName + '-' + s +'-'+ place

2.保存数据

我们将物品根据他们的种类分别存在不同的文件夹中

for i in list:  #循环读取list中的每一个元素
	prodName=i['prodName']
	specInfo=i['specInfo']
	place=i['place']
	#因为specInfo中含有特殊符号不便于操作我们对其进行特殊处理
	s=specInfo
	s=s.replace('>','大于')
    s=s.replace('/','并且')
    s = s.replace('-', '到')
    s = s.replace('\\', '或者')
	#处理完后我们对数据进行组装以-隔开
	name= prodName + '-' + s +'-'+ place
	    with open(f'./类别/{prodCat}/今日类别.txt', 'a+') as fp:       			#按照类别将其保存到所属的主类文件夹中
        fp.write(name+'\n')                                      #写入数据每个数据一行
我把把C
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
python爬虫|爬取亚马逊商品库存数据(Selenium实战)
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
11-23 5744
前言 很多人把selenium爬虫称之为可视化爬虫，之所以这样认为，主要在于selenium爬虫主要是模拟人的点击操作，而selenium驱动浏览器并进行操作的过程是可以观察到的。换言之，就是你在看着别人在帮你操纵你的电脑，类似于别人远程使用你的电脑，需要提到的是，selenium也有无界面模式。 下面，直接进入正文，以亚马逊商品数据为例，获取商品的当前库存数据。 正文 想要获取亚马逊的库存数据，那就需要先明白，亚马逊商品的库存数据是怎么获得的。 1.打开商品界面之后，需要先点击加入购物车.
GUI基于Python语言爬虫程序（抓取农产品网站，抓取结果存入excel，并有折线图等简易数据分析功能）
03-19
利用Python语言抓取农产品网站（一亩田、新发地、惠农网等），定向自动下载所需数据为excel
记录自己python爬虫的学习过程-北京新发地数据抓取
qq_34797363的博客
12-05 678
北京新发地数据抓取，包含：post请求和json数据类型的转换！
python爬虫之多线程扒光北京新发地菜价
qq_55977554的博客
12-17 1754
所实验网址： http://www.xinfadi.com.cn/priceDetail.html 首先对网页进行分析： 但是很显然，这些内容都不存在网页的源代码，所以这时候我们需要进行抓包 然后我们观察这个的url和请求方式，可以发现这是post类型，于是我们去找到他要传入的参数 我们通过点击下一页，具体看看哪些是需要传入的 我们会发现，current是我们需要具体传入的参数，而他就是代表页数，而这个limit是表示每页出现的数据量只能有20条。 我们分析完网页后，我们就可以开始编写程序了，那
python线程池爬取北京新发地价格万条数据
最新发布
m0_62812713的博客
01-21 453
线程池可以帮助提高多线程程序的性能，尤其是在需要执行多个独立任务的情况下。最近重新开始学习爬虫，今天敲代码所遇到的有意思的地方。添加time.sleep(1) 后程序爬取成功，但是会导致爬取延迟。目前我推断是网站可能具有限流机制，以防止爬取。如有大佬有其他高见，请指正。
农业领域数据资源获取与分析——爬取新发地官网信息
WangyiboH的博客
06-22 2079
目录1 开发环境2 程序功能介绍（1）实验目的（2）数据说明（3）技术说明3 程序设计的思路4 关键技术及难点5 程序的详细设计5.1 爬取数据5.2 读取数据5.3查看数据的整体情况5.4数据清洗5.5数据分析6 可视化展示7 结论......
爬虫基础（案例：北京新发地信息爬取）
qq_44805233的博客
10-30 2034
爬取思路： 1、找到蔬菜信息页面，然后进行翻页，发现页面的url没有发生改变，所有蔬菜信息是通过接口数据动态获取的，是动态数据。 2、进行chrom调试抓包，找到每个页面信息所在的url 3、 发现每个信息的url都相同，post请求，form data不同。 4、通过修改提交的data来获取不同页面的蔬菜信息。 import requests import json import csv file = open("C://Users//孤桥//Desktop//项目//PekingXFD//vegeta
python爬虫之爬取新发地数据并保持
weixin_47805767的博客
12-23 840
首先加载库，找到包含数据的网址，拿到页码源代码 import json2 import requests from bs4 import BeautifulSoup import csv import os url = "http://www.xinfadi.com.cn/getCat.html" resp=requests.get(url) resp.encoding = "utf-8" # 修改源代码编码格式 使用json2解析数据，并保存 print(resp.text) page =
8.（地图数据篇）腾讯地图矢量瓦片数据爬取--java代码.zip
06-28
下载如有问题，可私信博主。下载前建议先查看博客内容，其地址为：https://blog.csdn.net/QQ98281642/article/details/118306322
1.（地图数据篇）天地图瓦片数据爬取--java代码.zip
07-22
下载如有问题，可私信博主。下载前建议先查看博客内容，其地址为：https://blog.csdn.net/QQ98281642/article/details/116598257
新发地所有类别每日价格行情.csv
05-19
北京新发地各种菜品历史数据,共21W条,最新爬取,适合数据分析练手用
Node.js-一个简单的播放器从数据爬取处理到上传至七牛云再到前端页面展示
08-10
一个简单的播放器，从数据爬取处理到上传至七牛云再到前端页面展示
完整版精品Python网络爬虫教程 数据采集 信息提取课程 03-Requests库网络爬取实战（共29页）.pptx
11-13
Python网络爬虫教程 数据采集 信息提取课程 03-Requests库网络爬取实战（共29页）.pptx Python网络爬虫教程 数据采集 信息提取课程 04-Beautiful Soup库入门（共53页）.pptx Python网络爬虫教程 数据采集 信息提取...
python爬取网页数据+json数据处理+post请求处理-spider.py
08-18
python3代码，包含了处理post请求爬取网页数据代码，注释部分包括对json数据的处理。如果有疑问，随时扣me *-*
python网络爬虫——爬取新发地农产品数据
weixin_66547608的博客
10-30 1134
这段代码是一个爬取新发地蔬菜价格信息的程序，它使用了多线程来加快数据获取和解析的速度。具体的步骤如下： 导入所需的库：json、requests、threading和pandas。 初始化一些变量，包括页数、商品总列表以及存放json数据的列表。 定义了一个函数url_parse()，用于发送请求并解析网页数据。函数使用requests.post()方法发送POST请求，获取商品信息，并将其保存到jsons列表中。 定义了一个函数json_parse()，用于解析json数据并将商品信息保存到商品总列表c
【Python爬虫项目】新发地蔬菜水果等食品价格爬取（详细附源码）
gushuiwuqiu的博客
07-29 6927
新发地获取蔬菜水果等食品价格 爬取信息具体如下： 1.食品名称 2.最低价 3.最高价 4.平均价 5.规格 6.产地 7.单位 8.发布日期 1.检查网页源码 通过检查源码可以看出数据并不在网页源码当中，需通过动态加载获取信息，打开开发者工具进行抓包 2.抓包 刷新页面，抓取商品信息，发现一页共20条商品信息。 3.分析 查看请求头信息,比对其他页请求地址发现请求地址统一为: url = 'http://www.xinfadi.com.cn/getPriceData.html' 请求
获取北京新发地蔬菜采集
yhm15388130071的博客
11-03 116
4．访问解析网页内容网址，复制右边转换的代码。2．分析北京新发地水果网页结构第三页数据。3.使用for循环爬取前50页水果数据。8.查看网页预览里的post请求数据。1.分析北京新发地水果网页结构数据。（一）获取网页请求方式和路径。（二）获取北京新发地蔬菜采集。6.使用json格式请求数据。10.获取list里面的数据。（三）写入北京新发地蔬菜数据。（四）采集北京新发地水果数据。4．修改写入数据的位置和文件。3．修改北京新发地网站地址。2.使用csv写入数据。3.获取网页cURL。7．请求数据返回结果。
bs4爬取新发地果蔬价格数据,保存为CSV格式
xtggbmdk的博客
02-20 2059
1.路飞python实训 import requests #用来发送请求 from bs4 import BeautifulSoup#用来解析网页 import time#导入时间隔 for i in range(1,100):#爬取第一页到第100页的数据 f = open("新发地果蔬价格.csv",mode='a',encoding="utf-8")#写人文件新...
爬取北京新发地价格，并保存
m0_58568865的博客
08-27 532
爬取北京新发地果蔬价格--从第几页到第几页的数据，并保存为csv格式： import requests import time import csv a = int(input("请输入搜索的页码数1：")) b = int(input("请输入搜索的页码数2：")) f = open("./start/菜价.csv", mode="w", encoding="utf-8") csvw = csv.writer(f) class caijia(object): def __init
python爬虫------lol战队比赛数据爬取并保存信息到excel
11-05
Python爬虫可以用来爬取LOL战队比赛数据，并将信息保存到Excel中。具体步骤如下： 1.分析数据来源：观察数据源，找到数据接口，获取接口地址。 2.发送请求：使用Python的requests库向接口地址发送请求，获取数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我把把C

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值