scrapy项目总结——爬取污染数据的项目

最新推荐文章于 2024-01-05 21:36:15 发布
最新推荐文章于 2024-01-05 21:36:15 发布
阅读量457 收藏 2
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Johnsonzhongyf/article/details/82733147
版权

经过一段时间的学习，开始慢慢学会了使用scray简单的爬取数据。
这个项目起源是对污染数据的需求。
起初找到一个网站，尝试对其进行爬取，但是网站涉及到动态加载的问题，目前本人只学会了静态网站的爬取，所以放弃了。等后期学习后会返回进行尝试。网址为：

https://www.aqistudy.cn/historydata/

本项目实际使用的资源为：

http://www.tianqihoubao.com/aqi/

首先进行项目创建；

scrapy startproject Aqi

在建立好的scrapy容器里面建立一个spider：WRS，中间代码片如下：

import scrapy
from Aqi.items import AqiItem


class AQISpider(scrapy.Spider):
    name = 'WRS'
    start_urls = ['http://www.tianqihoubao.com/aqi/']
    #这里必须为start_urls，两次项目都在这个s处寻找半天debug
    # allowed_domains = ['tianqihoubao.com']

    def parse(self, response):
        for url in response.xpath('//*[@id="content"]/div/dl/dd/a/@href').extract()[9:]:
            full_url = response.urljoin(url)
            yield scrapy.Request(full_url, callback=self.parse_city)

    def parse_city(self, response):
        for url in response.xpath('//*[@id="bd"]/div[1]/div[3]/ul/li/a/@href').extract():
            try:
                full_url = response.urljoin(url)
            finally:
                yield scrapy.Request(full_url, callback=self.parse_month)

    def parse_month(self, response):
        #这里是一个对爬取到的数据的处理(求平均值)，进行过3次尝试。还是基础知识不太扎实
        def avera(ur):
            av = 0
            for i in ur:
                av = av + float(i)
            aver = av / len(ur)
            return aver
        item = AqiItem()
        item['city'] = response.xpath('//*[@id="bd"]/div[2]/div[4]/h2/text()').extract()
        #因为chrome浏览器的原因，造成网页源码里不含tbody;但是审查元素时浏览器会自动加上tbody，故直接删除tvbody即可
        item['AQI'] = avera(response.xpath('//*[@id="content"]/div[3]/table/tr/td[3]/text()').extract()[1:])
        item['PM25'] = avera(response.xpath('//*[@id="content"]/div[3]/table/tr/td[5]/text()').extract()[1:])
        item['PM10'] = avera(response.xpath('//*[@id="content"]/div[3]/table/tr/td[6]/text()').extract()[1:])
        item['So2'] = avera(response.xpath('//*[@id="content"]/div[3]/table/tr/td[7]/text()').extract()[1:])
        item['No2'] = avera(response.xpath('//*[@id="content"]/div[3]/table/tr/td[8]/text()').extract()[1:])
        item['Co'] = avera(response.xpath('//*[@id="content"]/div[3]/table/tr/td[9]/text()').extract()[1:])
        item['O3'] = avera(response.xpath('//*[@id="content"]/div[3]/table/tr/td[10]/text()').extract()[1:])
        yield item
        #for aA in response.xpath('//*[@id="content"]/div[3]/table/tr/td[1]/text()').extract():
            #AQI =
            #for i in range(1, (1+len(response.xpath('//*[@id="content"]/div[3]/table/tr/td[1]/text()').extract()))):
                #item = AqiItem()
                #item['city'] = response.xpath('//*[@id="content"]/div[3]/h4/text()').extract()
                #item['time'] = response.xpath('//*[@id="content"]/div[3]/table/tr/td[1]/text()').extract()[i]
                #item['AQI'] = float(response.xpath('//*[@id="content"]/div[3]/table/tr/td[3]/text()').extract()[i])
                #item['PM25'] = float(response.xpath('//*[@id="content"]/div[3]/table/tr/td[5]/text()').extract()[i])
                #item['PM10'] = float(response.xpath('//*[@id="content"]/div[3]/table/tr/td[6]/text()').extract()[i])
        #         item['So2'] = float(response.xpath('//*[@id="content"]/div[3]/table/tr/td[7]/text()').extract()[i])
        #         item['No2'] = float(response.xpath('//*[@id="content"]/div[3]/table/tr/td[8]/text()').extract()[i])
        #         item['Co'] = float(response.xpath('//*[@id="content"]/div[3]/table/tr/td[9]/text()').extract()[i])
        #         item['O3'] = float(response.xpath('//*[@id="content"]/div[3]/table/tr/td[10]/text()').extract()[i])
        # finally:
        #     yield item

        #item = AqiItem()
        #item['city'] = response.xpath('//*[@id="content"]/h1/text()').extract()
        #item['time'] = response.xpath('//*[@id="content"]/div[3]/table/tr/td[1]/text()').extract()[1:]
        #item['AQI'] = response.xpath('//*[@id="content"]/div[3]/table/tr/td[3]/text()').extract()[1:]
        #item['PM25'] = response.xpath('//*[@id="content"]/div[3]/table/tr/td[5]/text()').extract()[1:]
        #item['PM10'] = response.xpath('//*[@id="content"]/div[3]/table/tr/td[6]/text()').extract()[1:]
        #item['So2'] = response.xpath('//*[@id="content"]/div[3]/table/tr/td[7]/text()').extract()[1:]
        #item['No2'] = response.xpath('//*[@id="content"]/div[3]/table/tr/td[8]/text()').extract()[1:]
        #item['Co'] = response.xpath('//*[@id="content"]/div[3]/table/tr/td[9]/text()').extract()[1:]
        #item['O3'] = response.xpath('//*[@id="content"]/div[3]/table/tr/td[10]/text()').extract()[1:]
        #yield item

在spider里面，主要问题就是两个问题：

  1. start_urls
  2. 对基础不太熟悉，导致浪费时间在处理上
  3. 目前两个项目都存在的一个问题：每次爬取到的数据第一个列表都不需要，两次都是使用不同的方法去除第一个列表，所以需要总结一个固定的方法抛出第一个数据
    在items.py里面创建需要返回的item：
# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class AqiItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    city = scrapy.Field()
    # time = scrapy.Field()
    AQI = scrapy.Field()
    PM25 = scrapy.Field()
    PM10 = scrapy.Field()
    So2 = scrapy.Field()
    No2 = scrapy.Field()
    Co = scrapy.Field()
    O3 = scrapy.Field()
    pass

对应item，新建一个PipeLine对返回的数据进行操作：

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
import time


class AqiFilePipeLine(object):
    def __init__(self):
        self.file = open('d:/Aqi/wuqueshi.txt', 'wb')

    def process_item(self, item, spider):
        line = "%s，%s，%s，%s，%s，%s，%s，%s\r\n" % (item['city'],  item['AQI'], item['PM25'],
                                                item['PM10'], item['So2'], item['No2'], item['Co'], item['O3'])
        self.file.write(line.encode("utf-8"))
        #fp.write(item['city'] + '\t')
            #fp.write(item['time'] + '\t')
            #fp.write(item['AQI'] + '\t')
            #fp.write(item['PM25'] + '\t')
            #fp.write(item['PM10'] + '\t')
            #fp.write(item['So2'] + '\t')
            #fp.write(item['No2'] + '\t')
            #fp.write(item['Co'] + '\t')
            #fp.write(item['O3'] + '\n\n')
        time.sleep(0.2)
        return item

在导出数据这里，进行过多次尝试，每次得到的数据格式都不太满意。因为最初没有算出平均值，而是直接得出所需要的日数据，而每一个原始数据都存在\r\n；所以都会有大量空格存在。处理方法为：将得到的数字数据转化为float格式，城市数据源改变，日期数据删除。但是没有解决这个问难。希望后续可以补上。
这里若是不设置time.sleep。则得到的数据可能会相应减少，因为访问网站的频率过快。
对应的PipeLine，设置相应的Setting,其中的AUTOTHROTTLE_ENABLED 应该去除注释，可以得到更完整的数据:

AUTOTHROTTLE_ENABLED = True

。本项目的缺点在于：

  1. 遇到动态加载的网站没有找到爬取的方法
  2. start_urls问题为老问题
  3. 爬取数据的第一行仍然没有固定的方法排除
  4. 得到的结果因为不明原因会有缺失，并且得到的数据格式与网页数据不符
Johnsonzhongyf
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
北京2013-2018年期间空气质量历史数据
08-26
北京2013-2018年期间每天的空气质量历史数据，一天数据示例{"date":"2013-12-02","aqi":"142","pm25":"109","pm10":"138","so2":"61","co":"2.6","no2":"88","n38h":"11"}
爬虫电商项目:用scrapy分布式爬虫框架爬取当当商品信息,用selenium模拟登录淘宝和京东收集商.zip
11-04
该项目使用了两种强大的工具——Scrapy和Selenium，分别用于爬取静态和动态网页，从而获取当当、淘宝和京东的商品信息。接下来，我们将深入探讨这两个工具以及它们在电商爬虫项目中的应用。 **Scrapy** 是一个用...
网络爬虫-爬取指定城市空气质量检测数据
热门推荐
qq_39802740的博客
11-15 1万+
爬取指定城市空气质量检测数据 网站链接 → https://www.aqistudy.cn/historydata/ 以月数据为例，见下图： 然后我们通过console调试可以发现 这个网页在items里面已经将数据打包好了，如下图所示 没毛病，数据全都对得上，接下来的思路就是利用拼接url的方法，使用selenium进入网页，利用selenium的注入js方法，直接让网页返回我们想要的数据源...
中国空气质量在线监测分析平台数据获取
oyf3085227433的博客
01-05 3709
空气质量在线检测分析平台这个网站的数据获取，之前我在网上查过别人的教程，比较繁琐，我有一个比较简单的方法获取数据，现在分享给大家。
爬取全国空气质量数据
一半芒果的博客
10-05 1万+
思路： 1、空气质量在线监测平台 https://www.aqistudy.cn/； 2、分析网站，找到历史数据查询入口：https://www.aqistudy.cn/historydata/，首页为各城市入口，二层统计各月份数据，三层为每日数据； 3、使用crawspider获取每月url； 4、xpath解析数据，保存至csv和redis数据库中。 出现的问题： 除首页外，网页使用了动态JS...
Python Scrapy图片爬取原理及代码实例
09-16
在Scrapy项目中，Spider是负责抓取网页内容的核心组件。以下是一个名为`ImgSpider`的简单示例： ```python class ImgSpider(scrapy.Spider): name = 'img' start_urls = ['http://www.521609.com/daxuemeinv/'] ...
python爬虫爬取github项目里的评论.zip
01-20
【Python爬虫爬取GitHub项目评论】：在Python编程领域，爬虫技术是获取网络数据的重要手段，尤其在处理像GitHub这样的大型平台时，爬虫能够帮助我们自动化地收集和分析大量的公开信息，如项目评论。这个项目的核心是...
基于scrapy的层次优先队列方法爬取中文维基百科，并自动抽取结构和半结构数据.zip
最新发布
06-17
在这个项目"基于scrapy的层次优先队列方法爬取中文维基百科，并自动抽取结构和半结构数据.zip"中，我们可以深入探讨如何利用数据结构——特别是层次优先队列（Priority Queue）来有效地爬取网页并处理数据。Scrapy是...
爬取数据并存储到mysql
06-10
总结来说，从爬取数据到存储到MySQL数据库，涉及Python爬虫技术、HTML解析、数据库操作以及网络请求等多个方面。掌握这些技能，能让我们有效地获取和管理网络上的大量信息，为数据分析和业务决策提供强有力的支持。
爬取全国空气质量监测网代码.py
05-28
爬取空气质量检测网的部分城市的历年每天质量数据 思路----------------------------------------- 从某城市的空气质量网页获取某市每月的链接，再爬取每个月的表格数据。连云港市：https://www.aqistudy.cn/historydata/daydata.php?city=连云港 连云港2014年5月的空气质量：https://www.aqistudy.cn/historydata/daydata.php?city=连云港&month=2014-05 遇到的问题----------------------------------------- 获取的网页中的表格数据隐藏，尝试requests无法获取。判断可能是动态加载的网页 尝试----------------------------------------- 1. 通过XHR，js查找隐藏数据的加载网页，没有找到。 2. 使用phantomjs.get() result=pd.read_html ,可以获得隐藏的表格数据，但是并不稳定，只是偶尔出现加载的表格数据,无法大规模的获取 解决方法----------------------------------------- 查找资料得知这个网站的表格数据在Console里的items中， 使用selenium的webdriver.firefox(),driver.execute_script("return items") 数据可获得。 仍遇到的问题：----------------------------------------- 爬取一个网页可获得数据，但是连续的获取网页，会出现两个错误。 1.Message: ReferenceError: items is not defined 2.connection refused 解决方法： 1.connection refused问题,可能是网页开太多，使用driver.quit() 2. 如果 execute_script 还是出错，可尝试pd.read_html获取信息。之前用phantomjs获取的时候输出空的表格，可能由于加载不够，用 Waite直到table出现之后再获取网页 Element=wait.until(EC.element_to_be_clickable((By.XPATH,"/html/body/div[3]/div[1]/div[1]/table/tbody"))) 3.之后出现偶尔出现输出为空，使用循环，如果输出表格为空，再重新获取。 if len(result)>1: filename = str(month) + '.xls' result.to_excel('E:\python\案例程序\data\\' + filename) print('成功存入'+filename) driver.quit() else: driver.quit() return getdata(monthhref,month)
Scrapy爬虫--获取全国三百多个城市PM25等环境状况
12-09
运行爬虫scrapy crawl CitiesRank，会生成全国各地的环境数据，排行，图表等。代码在Linux平台测试通过，附带2017年12月9日测试数据
全国空气质量监测数据获取器
11-30
从中国环境监测总站每小时发布的空气质量监测数据网上自动获取，包括600多个监测点，120个城市。
获取pm2.5空气质量AQI历史数据
这个面它又长又宽
02-19 1万+
网站：https://www.aqistudy.cn/historydata/ 前言： pm2.5的数据源比较多，但是历史数据比较少，很多网站不是很全，如图，这个网站的数据在同类网站中是算比较全面的了，界面也很简约清晰。一开始我爬取这个网站的时候看到网页结构很简单以为简单的构造请求就可以爬取数据了。没想到打开开发者工具后，发现其日数据是通过js加密解密加载到页...
scrapy总结
代码改变世界
11-16 343
  异步和同步指的是过程，阻塞和非阻塞指的是状态 scrapy中重要的是怎样写xpath来取数据，怎么样处理数据，还有怎样进行数据的保存。 创建一个scrapy 项目就是创建了一个scrapy文件夹。还要在 cd 到这个文件夹下面创建爬虫。 1 .scrapy startproject mySpiser （创建一个工程的文件） 2.scrapy genspider itcast itca...
城市空气质量(AQI)数据爬虫
Along1617188的博客
11-09 3987
城市空气质量(AQI)数据爬虫 全国各城市（网页上有的）空气质量爬虫，包括城市名称，AQI等信息，保存为.csv文件格式 网址首页：https://www.aqistudy.cn/historydata/index.php 首先是获取城市名称模块，实质就是从网页上得到可检索的所有“城市”字符串列表； import requests from lxml import etree import time from urllib import parse import pandas as pd from
Scrapy总结
程序员进化者
01-24 434
本文目录一、 网络相关（一）HTTP 与 HTTPS（二）cookie和session（三）GET和POST区别（四）三次握手、四次挥手（1）三次握手（2）四次挥手（五）浏览器访问百度的过程（六）其他二、Scrapy组件三、 数据流四、 反爬机制和应对措施五、 日志信息和错误等级六、下载中间件（一）作用（二）拦截的请求（三）最重要三个方法（四）scrapy应用selenium的编码流程七、如何提升scrapy爬取数据的效率：八、爬取数据去重九、布隆过滤器 一、 网络相关 （一）HTTP 与 HTTPS 1、
空气质量指数月统计历史数据爬取
阿芒Aris的博客
09-06 5234
不到20行代码爬取 空气质量指数月统计历史数据爬取
基于Scrapy的租房信息爬取与Django数据展示系统
"scrapy下的租房信息爬取与数据展示工具的设计与实现论文" 这篇论文主要探讨了在现代互联网时代，如何利用技术手段提升租房用户的体验。作者选择了Python的开源爬虫框架Scrapy来构建租房信息爬取系统，该系统能够从...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值