Python-Scrapy抓取中国空气质量全站数据-ChinaArea案例

最新推荐文章于 2021-07-31 16:49:08 发布
最新推荐文章于 2021-07-31 16:49:08 发布
阅读量1.3k 收藏 16
点赞数
分类专栏： python 爬虫 互联网
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41334453/article/details/90274251
版权
本文介绍了如何使用Scrapy和selenium抓取中国各城市空气质量指数的日历史数据。首先分析了网页结构，发现除了第一个静态页面外，其他页面需要动态抓取。接着，详细阐述了抓取思路及代码实现，包括items.py、spider.py、middlewares.py、pipelines.py和settings.py的设置。最后展示了抓取过程和结果。
摘要由CSDN通过智能技术生成

本节知识点主要是Scrapy对接selenium

目标抓取每个城市空气质量指数日历史数据

  1. 分析网页数据结构
    1.1. 一级域名页面
    一级域名页面
    1.2. 爬虫起始页面
    抓取起始页面
    1.3. 从上图随便点个城市链接进去，找到月份链接
    白城的空气质量不咋滴
    1.4. 这是我们需要抓取的数据字段 加上城市的字段一共有十个了.
    找到我们需要爬取的数据字段

  2. 分析网页数据格式
    2.1. 第一个页面为静态
    第一个页面
    静态页面

2.2. 第二个页面为动态页面
第二个页面
动态页面

2.3. 第三个页

最低0.47元/天 解锁文章
空山老师
关注
专栏目录
Python爬取国家数据中心环境数据（全国城市空气质量小时报）并导入csv文件
临冬城码农的博客
08-07 9814
1.开发环境:      python 3.5   + fiddler 4 （抓包工具）+ 火狐浏览器 + idea 2.分析要爬取的页面 2.1  首页  数据中心  点击 全国城市空气质量小时报   查看 fiddler4                     表格中的内容就是要抓取的对象            分析fiddler 4 看出请求的方式 请求参数 以及 返回的响应...
使用scrapy爬取全国所有城市的天气信息
01-09
使用scrapy爬取全国所有城市的天气信息，爬取的是中国天气网的信息。
Scrapy实战篇（五）之爬取历史天气数据
daxun0631的博客
02-12 334
　　本篇文章我们以抓取历史天气数据为例，简单说明数据抓取的两种方式： 　　1、一般简单或者较小量的数据需求，我们以requests(selenum)+beautiful的方式抓取数据 　　2、当我们需要的数据量较多时，建议采用scrapy框架进行数据采集，scrapy框架采用异步方式发起请求，数据抓取效率极高。 　　下面我们以http://www.tianqihouba...
Python获取中国环境总站 CNEMC 采集的实时空气质量数据
05-23
Python获取中国环境总站 CNEMC 采集的实时空气质量数据 从中国环境总站采集空气质量六参数（逐小时更新） 数据发布说明里需注意的地方 监测点位1小时浓度平均值指该点位1小时内所测项目浓度的算术平均值或测量值，如16时的小时均值为15：00-16:00的算术平均值或测量值。 8小时滑动平均值是指当前小时前8小时内所测项目小时浓度的算术平均值。 发布结果通常为每小时更新1次，由于数据传输需要一定的时间，发布的数据约有半小时延滞，例如15时的监测数据在15:30左右发布。
爬取多城市空气质量数据
1234567
10-31 1472
数据抓取 url = 'http://tianqihoubao.com/aqi/beijing-201909.html' import requests from bs4 import BeautifulSoup import pandas as pd headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) ...
Python-scrapy抓取链家网二手房成交数据
08-10
Python-scrapy是一个强大的框架，专为网络爬虫设计，用于高效、结构化地抓取大量网页数据。在本项目中，“Python-scrapy抓取链家网二手房成交数据”旨在利用Scrapy来收集链家网上关于二手房成交的具体信息，如房源...
Python-scrapy抓取糗事百科热门
08-10
Scrapy是一个用Python编写的开放源代码框架，专为数据抓取和数据处理而设计。它包含了一系列组件，如下载器、Spider、Item、Item Pipeline、Middleware等，这些组件协同工作，帮助我们高效地进行网络爬取。 2. **...
Python-Scrapy练习项目利用Scrapy抓取古诗
08-10
在本项目中，我们将深入探讨如何使用Python的Scrapy框架来抓取古诗数据，包括唐诗和宋词，最终将这些数据存储为JSON格式。Scrapy是一个强大的、专为爬取网站并提取结构化数据而设计的工具，非常适合进行大规模的数据...
基于Python-Scrapy框架的闲鱼二手网站信息抓取+源代码+文档说明
最新发布
12-01
# **基于scrapy框架的闲鱼二手网站信息抓取** # ## 功能 - 全站爬虫 - 支持mongodb数据库的写入 - 自动更换用户代理 - 根据请求频率自动限速 ## 环境要求 - Python 3.0+ - Scrapy 1.3+ ## 我的开发环境 - ...
爬取全国空气质量监测网代码.py
05-28
爬取空气质量检测网的部分城市的历年每天质量数据 思路----------------------------------------- 从某城市的空气质量网页获取某市每月的链接，再爬取每个月的表格数据。连云港市：https://www.aqistudy.cn/historydata/daydata.php?city=连云港 连云港2014年5月的空气质量：https://www.aqistudy.cn/historydata/daydata.php?city=连云港&month=2014-05 遇到的问题----------------------------------------- 获取的网页中的表格数据隐藏，尝试requests无法获取。判断可能是动态加载的网页 尝试----------------------------------------- 1. 通过XHR，js查找隐藏数据的加载网页，没有找到。 2. 使用phantomjs.get() result=pd.read_html ,可以获得隐藏的表格数据，但是并不稳定，只是偶尔出现加载的表格数据,无法大规模的获取 解决方法----------------------------------------- 查找资料得知这个网站的表格数据在Console里的items中， 使用selenium的webdriver.firefox(),driver.execute_script("return items") 数据可获得。 仍遇到的问题：----------------------------------------- 爬取一个网页可获得数据，但是连续的获取网页，会出现两个错误。 1.Message: ReferenceError: items is not defined 2.connection refused 解决方法： 1.connection refused问题,可能是网页开太多，使用driver.quit() 2. 如果 execute_script 还是出错，可尝试pd.read_html获取信息。之前用phantomjs获取的时候输出空的表格，可能由于加载不够，用 Waite直到table出现之后再获取网页 Element=wait.until(EC.element_to_be_clickable((By.XPATH,"/html/body/div[3]/div[1]/div[1]/table/tbody"))) 3.之后出现偶尔出现输出为空，使用循环，如果输出表格为空，再重新获取。 if len(result)>1: filename = str(month) + '.xls' result.to_excel('E:\python\案例程序\data\\' + filename) print('成功存入'+filename) driver.quit() else: driver.quit() return getdata(monthhref,month)
python爬虫之静态网页——全国空气质量指数(AQI)爬取
热门推荐
HGS的博客
06-11 1万+
首先爬取地址：http://www.air-level.com/ 利用的python库，最近最流行的requests，BeautifulSoup。 requests：用于下载html BeautifulSoup：用于解析 下面开始分析：要获取所有城市的aqi，就要进入每个城市的单独链接，而这些链接可以从主页中获取 打开主网页，查看源代码，可以看到，所有的城市链接都在id=‘cityl...
爬取空气质量网（待优化）
小鱼干儿的博客
07-31 226
spider import scrapy from urllib import parse from selenium import webdriver from air_qualityPro.items import AirQualityproItem city_names = ['郑州','开封','洛阳','平顶山','鹤壁','新乡','焦作','濮阳','许昌','漯河','三门峡','南阳','商丘','信阳','周口','驻马店'] class AirQualitySpider(s.
scrapy数据爬取和数据处理
weixin_43550933的博客
07-16 893
scrapy把爬取数据和处理数据分别放在以下两个位置（itcast为我们创建的爬虫名） 数据爬取的代码如下（其中parse方法中的response是请求start_urls的返回）： import scrapy class ItcastSpider(scrapy.Spider): name = 'itcast' #爬虫名字 allowed_domains = ['itcast.cn'] #爬取范围 start_urls = ['http://www.itcast.cn/chan
python怎么爬取新浪微博数据中心_Python爬取国家数据中心环境数据（全国城市空气质量小时报）并导入csv文件...
weixin_33900697的博客
02-20 357
1.开发环境:python 3.5 + fiddler 4 (抓包工具)+ 火狐浏览器 + idea2.分析要爬取的页面2.1 首页数据中心 点击 全国城市空气质量小时报 查看 fiddler4表格中的内容就是要抓取的对象分析fiddler 4 看出请求的方式 请求参数 以及 返回的响应对象注意：一定要抓 返回带有 上述表格 的url (直接请求的url 不含该表格 可以通过浏览...
[Python爬虫]Scrapy框架爬取网易国内新闻
Black_God1的博客
08-28 1993
启动文件main.py from scrapy.cmdline import execute execute('scrapy crawl wangyi'.split()) 执行spider文件下的爬取文件 # -*- coding: utf-8 -*- import scrapy,re from ..piaot import * #导入自定义包 from ..ite...
python爬取空气质量_python爬取全国空气质量信息
weixin_39954569的博客
12-17 1639
主要模块requests模块。使用requests模块来获取http响应gevent模块。使用gevent开启多个协程，加快爬取速度re模块或beautifulsoup模块。正则表达式解析与beautifulsoup解析两种解析方式我都会写出来。csv模块。用于将数据导出至csv文件内分析过程1.要爬取的页面的URL地址为：http://www.tianqihoubao.com/aqi/。首先访问...
python爬空气污染实时数据_python爬虫之静态网页——全国空气质量指数(AQI)爬取...
weixin_39796152的博客
11-29 685
利用的python库，最近最流行的requests，BeautifulSoup。requests：用于下载html BeautifulSoup：用于解析下面开始分析：要获取所有城市的aqi，就要进入每个城市的单独链接，而这些链接可以从主页中获取打开主网页，查看源代码，可以看到，所有的城市链接都在id=‘citylist’里面把所有链接爬下来存在一个列表里面，然后...
python--真气网监测站点数据的抓取
weixin_38753890的博客
09-04 5758
笔者从事环保行业，因为最近的项目需要从真气网拿监测站点的数据，所以开发了下面的爬虫抓取数据。 下图每一个红色的框就是每一个站点的AQI值，单机鼠标，显示如图亦庄开发区的AQI值及污染因子6参数、首要污染物、空气等级、站点类型等信息，我们本次只拿AQI值及污染因子6参数。 打开F12看一下，红色的框Data是一串字母，怀疑是被网站加密了，得找加密的算法了。 下图就是我在Sources中找到网页动...
python爬取百度搜索_Python-Scrapy抓取百度数据并分析
05-19
这里是一个简单的Python-Scrapy爬取百度搜索结果并对搜索结果进行分析的例子： 首先，我们需要安装Scrapy和lxml库。在命令行中输入以下命令： ``` pip install scrapy pip install lxml ``` 然后，我们可以创建一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值