python爬取北京新发地菜市场菜价（8.12）

最新推荐文章于 2024-09-20 09:39:51 发布
最新推荐文章于 2024-09-20 09:39:51 发布
阅读量3k 收藏 31
点赞数 2
分类专栏： 爬虫练习 文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56521031/article/details/119653129
版权
本文介绍了如何使用Python爬虫从北京新发地菜市场的网页中抓取菜价信息。由于网站结构变化，原先的方法不再适用。作者通过分析F12开发者工具，发现数据是以JSON格式通过POST请求传递，通过改变请求中的current参数实现翻页。最终，使用XPath解析页面并成功获取数据，将其保存为CSV格式。
摘要由CSDN通过智能技术生成

通过学习2021年最新Python爬虫教程+实战项目案例（最新录制）_哔哩哔哩_bilibili，动手实践。发现网站结构已经变更，不能像视频中那样的方式获取价格。

 可以看到点击页面，网址未发生变化

 

因此看是否采用json传输数据，使用f12开发者调试，可以看出果然数据在json中 

进一步看Headers信息，可以注意到时post传输方式 

第四页data信息 第五页data信息

最低0.47元/天 解锁文章
颓废的人工机器
关注
专栏目录
python 爬取北京新发地市场的数据
DJkamm的博客
09-11 879
【代码】python爬虫爬取北京新发地市场的数据。
Python爬虫_线程池实例——北京新发地菜价
m0_63385973的博客
09-03 894
Python爬虫_线程池实例——北京新发地菜价： 通过线程池来同时爬取多页数据，从而提高爬取速度。
scrapy-北京新发地 爬虫实战练习
小刘的博客
01-05 692
北京新发地 新发地-价格行情 根据网页源代码结构查看，发现数据是在json内，且为post请求 根据分析可得，http://www.xinfadi.com.cn/getPriceData.html为具体数据的基础url http://www.xinfadi.com.cn/getPriceData.html?limit=20&current=1的url中，limit参数为一页数据量为20条数据，current为页数 文件目录结构 settings.py # ..
python线程池爬取北京新发地价格万条数据
m0_62812713的博客
01-21 582
线程池可以帮助提高多线程程序的性能，尤其是在需要执行多个独立任务的情况下。最近重新开始学习爬虫，今天敲代码所遇到的有意思的地方。添加time.sleep(1) 后程序爬取成功，但是会导致爬取延迟。目前我推断是网站可能具有限流机制，以防止爬取。如有大佬有其他高见，请指正。
爬虫基础（案例：北京新发地信息爬取）
qq_44805233的博客
10-30 2242
爬取思路： 1、找到蔬菜信息页面，然后进行翻页，发现页面的url没有发生改变，所有蔬菜信息是通过接口数据动态获取的，是动态数据。 2、进行chrom调试抓包，找到每个页面信息所在的url 3、 发现每个信息的url都相同，post请求，form data不同。 4、通过修改提交的data来获取不同页面的蔬菜信息。 import requests import json import csv file = open("C://Users//孤桥//Desktop//项目//PekingXFD//vegeta
基于python 蔬菜价格数据分析 完整代码+数据
机器学习深度学习业余选手
03-12 784
基于python 蔬菜价格数据分析 完整代码+数据
算菜价
杨的博客
02-10 2205
妈妈每天都要出去买菜，但是回来后，兜里的钱也懒得数一数，到底花了多少钱真是一笔糊涂帐。现在好了，作为好儿子（女儿）的你可以给她用程序算一下了，呵呵。 Input输入含有一些数据组，每组数据包括菜种（字串），数量（计量单位不论，一律为double型数）和单价（double型数，表示人民币元数），因此，每组数据的菜价就是数量乘上单价啊。菜种、数量和单价之间都有空格隔开的。 Output支付菜价的时...
Python库 | LIMBR-0.2.8.12.tar.gz
04-10
资源分类：Python库 所属语言：Python 资源全名：LIMBR-0.2.8.12.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
05.抓取北京新发地菜价1
08-03
05.抓取北京新发地菜价1
Python库 | phonenumbers-8.12.20-py2.py3-none-any.whl
03-23
通过`phonenumbers-8.12.20-py2.py3-none-any.whl`这样的whl文件，我们可以轻松地在Python 2和Python 3环境中安装并使用这一库，从而提升项目的效率和准确性。在处理电话号码相关任务时，它是不可或缺的利器。
8.12 划算还是不划算｜Python函数｜Python3.8入门 & 进阶 & 原生爬虫实战完全解读
08-31
8.12_划算还是不划算｜Python函数｜Python3.8入门_&_进阶_&_原生爬虫实战完全解读
python多线程爬取北京新发地菜市场菜价
weixin_42954389的博客
07-11 1205
采用python Requests库和线程池快速爬取北京新发地菜市场价格 代码如下： import requests from lxml import etree import time import csv from concurrent.futures import ThreadPoolExecutor f=open("data.csv",mode='w',encoding='utf-8') csvwriter=csv.writer(f) def down_one_page(url): re
新发地菜价爬取练习
weixin_55423423的博客
06-29 676
对北京新发地菜价的爬虫练习，requests库练习
【第二章-3】Python爬虫教程（bs4模块、爬取新发地菜价&广州江南果菜批发市场菜价【前者数据不在html中，后者数据嵌入在html中】）
qq_43629945的博客
08-21 1602
bs4模块、爬取新发地菜价&广州江南果菜批发市场菜价【前者数据不在html中，后者数据嵌入在html中】
python 价格显示_Python中的桌面价格计算
weixin_30767863的博客
01-13 481
我需要用Python做一个小练习，叫做“桌面价格计算”。程序中需要使用4个函数。在我的主要问题是在另一个函数中使用函数的输出。在def get_drawers():drawers = int(input('How many goddamn drawers would you like? '))return drawersdef get_wood_type():print('The types of...
python爬虫之多线程扒光北京新发地菜价
qq_55977554的博客
12-17 1953
所实验网址： http://www.xinfadi.com.cn/priceDetail.html 首先对网页进行分析： 但是很显然，这些内容都不存在网页的源代码，所以这时候我们需要进行抓包 然后我们观察这个的url和请求方式，可以发现这是post类型，于是我们去找到他要传入的参数 我们通过点击下一页，具体看看哪些是需要传入的 我们会发现，current是我们需要具体传入的参数，而他就是代表页数，而这个limit是表示每页出现的数据量只能有20条。 我们分析完网页后，我们就可以开始编写程序了，那
python爬虫初体验（一）
最新发布
书呆子ITme
09-20 5510
爬虫（Web Scraping）是一种从网站自动提取数据的技术。简单来说，它就像是一个自动化的“浏览器”，能够按照设定的规则，访问网页并提取其中的关键信息。对于我们前端开发者来说，爬虫可以帮助我们抓取一些数据进行可视化或前端展示，非常实用。Python爬虫是一个非常强大的工具，能帮助我们自动化地从网页中提取数据。作为前端开发者，掌握一点爬虫技术，不仅能帮助我们快速获取前端展示所需的数据，还能为项目中的API数据源提供备选方案。不过，在使用爬虫时，一定要遵守目标网站的使用条款和隐私政策，避免滥用。
Python3 中的接口与抽象基类实现
在8.12章节中，讨论了一个关键的面向对象编程概念——如何在Python中定义接口或抽象基类。在Python中，接口通常用于确保类的实现符合一定的规范，而抽象基类（Abstract Base Class, ABC）则用于强制子类实现特定的...
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值