
前言
文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
爬虫的网站:万邦国际集团。其成立于2010年,总部位于河南省郑州市,以“立足三农、保障民生、服务全国”为宗旨,业务涵盖综合性农产品冷链物流、高效生态农业开发、生鲜连锁超市、跨境电子商务、进出口贸易等农业全产业链。荣获重点龙头企业、全国农产品“综合十强市场”、“星创天地”、全国“万企帮万村”精准扶贫先进民营企业等荣誉称号。目前,集团在中牟县建设运营的万邦农产品物流园区,已累计完成投资100亿元,占地5000亩,建筑面积达350万平方米。拥有固定商户6000多家,2017年各类农副产品交易额913亿元,交易量1720万吨,位居全国前列,实现农产品“买全球、卖全国”。
其价格信息查询为get请求,网页比较规范,且短期内不会有大的变动,很容易分析,故选择之。
一、使用request爬取数据
# _*_ coding:utf-8 _*_
# 开发人员:未央
# 开发时间:2020/4/12 16:03
# 文件名:Scrapy_lab1.py
# 开发工具:PyCharm
import csv
import codecs
import requests # 导入requests包
from bs4 import BeautifulSoup # 导入bs4包
from datetime import datetime
class Produce:
price_data = [] # 农产品的价格数据列表
item_name = "" # 农产品的类别名
def __init__(self, category):
self.item_name = category
self.price_data = []
# 读取某一页的数据,默认是第一页
def get_price_page_data(self, page_index=1):
url = 'http://www.wbncp.com/PriceQuery.aspx?PageNo=' + str(
page_index) + '&ItemName=' + self.item_name + '&DateStart=2017/10/1&DateEnd=2020/3/31 '
strhtml = requests.get(url) # GET方式,获取网页数据
# print(strhtml.text)
soup = BeautifulSoup(strhtml.text, 'html.parser') # 解析网页文档
# print(soup)
table_node = soup.find_all('table')
# number = 0
# for table in table_node:
# number += 1
# print(number, table)
all_price_table = table_node[21] # 获取含有农产品价钱的table的数据
# print(all_price_table)
for tr in all_price_table.find_all('tr'):
number = 0
price_line = []
for td in tr.find_all('td'):
number += 1

本文介绍如何使用Python爬虫从万邦国际集团网站抓取农产品数据。通过requests库实现简单爬取,然后使用Scrapy框架进行更高效的抓取。内容包括requests爬取数据的步骤、Scrapy项目的配置和爬虫逻辑,以及爬取后的数据处理。
最低0.47元/天 解锁文章
&spm=1001.2101.3001.5002&articleId=105757346&d=1&t=3&u=cc2c5e0bbaf34b4eab0cbb9220603fa1)
1232

被折叠的 条评论
为什么被折叠?



