PHP爬虫 爬取污染数据实例

最新推荐文章于 2024-08-24 16:40:35 发布
最新推荐文章于 2024-08-24 16:40:35 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： 实例 文章标签： 数组 爬虫 编辑器 html php
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daslab/article/details/48580729
版权
本文介绍了一个使用PHP爬虫抓取污染数据的实例，包括获取目标页面、提取所需信息、创建数组并拼接成Json字符串。主要涉及HTML解析、CURL库和Json格式检查。
摘要由CSDN通过智能技术生成

PHP爬虫 爬取污染数据实例

标签（空格分隔）： PHP HTML 爬虫

抓取的目标页面 http://www.pm25.com/city/shenzhen.html

抓取后输出的Json数组：
http://1.enigma2015.sinaapp.com/WebBots/lib/data2json.php
检查Json格式是否正确：http://web.chacuo.net/formatjson
此处输入图片的描述

可以被正常解析，格式无误。
思路：
1.获取页面
2.从页面提取出需要的值
3.为不同类型的值分别创建数组，并将获得的值按顺序依次填入相应数组
4.新建字符串，利用PHP的拼接符“.”将各个数组和自定义字符串拼接成合法Json字符串
5.输出字符串

开始！
我们先打开目标网页，确定我们需要抓取的数据。
这里我希望抓取的数据有：监测站点位置，AQI值，空气质量，PM2.5的值，和PM10的值。
然后用浏览器看源代码（“审查元素”），找到这些数据所在的代码块。观察其专属的标签属性。
不难发现：
所有的“监测站点”都放在了标签内
所有的“空气质量”都放在了标签内
所有的“AQI”值，PM2.5，PM10都放在了标签内
如下所示：

<a class="pjadt_location" href="/city/mon/aqi/深圳/荔园.html" title="查看荔园详细数据">荔园</a>
<em class="pjadt_quality_bglevel_
最低0.47元/天 解锁文章
DASlab
关注
专栏目录
PHP爬虫简单案例
qq_42756268的博客
04-28 483
PHP爬虫简单案例 你好！ 这是你第人生的转折点，你已经将php爬虫给收入囊下 1.什么是爬虫 爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。 2.哪些语言可以实现爬虫 1.php：可以实现爬虫。但是php在实现爬虫中支持多线程和多进程方面做的不好。 2.java：可以实现爬虫。成本较大。 3.c、c++：可以实现爬虫。建议合理的选择。 4.python：可以实现爬虫...
php爬虫
菜鸟的博客
06-13 1万+
   Php爬虫，爬取数据，识图猜成语 一、寻找数据 1，寻找相关网站数据 http://www.hydcd.com/cy/fkccy/index.htm 分析网站换页特性 分析得出除了第一页，第二页开始index加页面数   写一个函数，专门拼接需要访问的页面 public function getcy($id=3,$num=3){ $i=$id; ...
PHP实现爬虫
zy17822307856的博客
01-12 260
绝对链接 相对链接 文字信息 图片获取 文字信息 我们尝试获取表的信息，这里，我们就用某校的课表来代替： 接下来我们就上代码： a.php <?phpheader("Content-type:text/html;Charset=utf-8"); $ch=curl_init();$url="表的链接"; curl_setopt($ch,CURLOPT_USERA...
分享6个Python爬虫小案例（附源码）_爬虫项目实战！
最新发布
Python_trys的博客
08-24 1195
爬虫的全称为网络爬虫，简称爬虫，别名有网络机器人，网络蜘蛛等等。网络爬虫是一种自动获取网页内容的程序，为搜索引擎提供了重要的数据支撑。搜索引擎通过网络爬虫技术，将互联网中丰富的网页信息保存到本地，形成镜像备份。我们熟悉的谷歌、百度本质上也可理解为一种爬虫。如果形象地理解，爬虫就如同一只机器蜘蛛，它的基本操作就是模拟人的行为去各个网站抓取数据或返回数据。
简单实用的php爬虫系统
小熊的专栏
09-09 1万+
通过简单的配置就爬取到网页内容，本系统放在github上欢迎有需要人朋友使用。 https://github.com/vip6111111/crawl程序只支持CLI安装程序1.修改dbconfig.php成自己数据库配置2.执行 php index.php install安装完成后，需要添加来源站点及提取规则，setting, setting 表。添加完使用来执行 php index.php
python爬虫实战之爬取京东商城实例教程
09-21
### Python爬虫实战之爬取京东商城实例教程 #### 前言 随着网络数据的爆炸性增长，网络爬虫成为了一种强大的工具，能够帮助我们自动地收集大量的网络信息。本篇教程将通过一个具体的案例——使用Python爬取京东商城...
python爬网站数据实例-利用Python爬虫爬取NBA数据功能实例分享
weixin_37988176的博客
10-29 1103
Python实现爬虫爬取NBA数据功能示例本文实例讲述了Python实现爬虫爬取NBA数据功能。分享给大家供大家参考，具体如下：爬取的网站为：stat-nba.com，这里爬取的是NBA2016-2017赛季常规赛至2017年1月7日的数据改变url_header和url_tail即可爬取特定的其他数据。源代码如下：#coding=utf-8import sysreload(sys)sys.set...
PHP爬虫实例-4K壁纸爬取测试
03-31
PHP爬虫实例，4K壁纸爬取测试。本实例的目标网站是一个叫《彼岸网》的壁纸网站，使用技术是 QueryList（php爬虫库）。 只要爬取.clearfix li>a>img元素里面的src属性和alt属性即可获得图片url和图片标题，实现代码...
python爬虫数据保存到mongoDB的实例方法
12-17
### Python爬虫数据保存到MongoDB的实例方法详解 在当今大数据时代，网络爬虫作为获取互联网信息的重要手段之一，其重要性不言而喻。爬取数据后，如何高效地存储这些数据变得尤为重要。MongoDB作为一种非关系型...
php简单爬虫
11-19
php简单爬虫,利用了json整理整合在添加到数据库，没有什么太多高技术
PHP实现简单爬虫的方法
01-21
本文实例讲述了PHP实现简单爬虫的方法。分享给大家供大家参考。具体如下： <?php /** * 爬虫程序 -- 原型 * * 从给定的url获取html内容 * * @param string $url * @return string */ function _getUrlContent($url) { $handle = fopen($url, r); if ($handle) { $content = stream_get_contents($handle, 1024 * 1024); return $content; } else {
Python爬取生态环境水污染排放标准.mp4
08-28
一个初学者的爬虫案例。用到了网页内容获取和解析方法。步骤很详细。适合初学者练习或修改。里面有不少可以简化的地方，比如使用函数、获取完整链接等。希望大神可以帮忙完善。
城市空气质量api接口
01-07
空气质量实时监测api是集成了城市空气质量、城市空气PM2.5指数、城市辐射指数的应用数据接口，非常全面可靠。
PHP爬虫
dantinr的专栏
06-08 174
PHP爬虫爬虫简介 爬虫简介 打开浏览器，在百度里随便搜索一个关键词，比如“后端开发”，百度会显示出很多的搜索结果，这些结果是怎么来的？ 其实这些结果都是保存在百度的数据库中，当用户搜索某个词时，会在数据库中检索出相关的记录。那么这些记录又是哪里来的？ 比如你有一个网站，网站内容是关于编程的，如果你分析过网站的访问日志，你会发现经常有百度（Google）爬虫来访问。 cat xxx.access.log | grep Baiduspider cat xxx.access.log | grep Googleb
php网页爬虫
weixin_33805557的博客
07-28 82
<?php/*网页爬虫*/#最简单的使用,属性都采用默认值/*$curl=curl_init('http://www.baidu.com');$output=curl_exec($curl);curl_close($curl);echo $output;*/#稍微复杂一点的，对页面进行操作/*$curl=curl_init();curl_setopt($curl, CU...
php简易爬虫
gaisidewangzhan1的博客
04-27 792
首页&gt; php教程&gt; 正文php简易爬虫作者： default|标签：PHP 爬虫 简易|2017-5-28 09:48简易爬虫设计引言说这是一个爬虫有点说大话了，但这个名字又恰到好处，所以在前面加了”简易“两个字，表明这是一个阉割的爬虫，简单的使用或者玩玩儿还是可以的。公司最近有新的业务要去抓取竞品的数据，看了之前的同学写的抓取系统，存在一定的问题，规则性太强了，无论是扩展性还是通用...
php实现爬虫
热门推荐
qq_29974553的博客
07-28 2万+
爬虫技术 简介 目前主流实现爬虫的方法都是使用pathon,但是不一定只有pathon，php也有很多爬虫工具，比如自带的curl，还有querylist，都能实现爬虫，只要能够实现爬数据，不要用什么样的方法都行。 querylist使用 QUERYLIST官方文档，先可以看下文档，熟悉一下，任务框架都可以使用 快速使用 过程很简单，看下文档基本上能够使用， 安装 使用compser安装composer require jaeger/querylist 爬取接口 use QL\QueryList; pub
python爬虫爬取旅游数据
12-13
以下是使用Python爬虫爬取旅游数据的一般步骤： 1. 寻找目标网站并分析其网页结构，确定需要爬取的数据类型和数据存放位置。 2. 使用Python中的requests库向目标网站发送请求，获取网页源代码。 3. 使用Python中的BeautifulSoup库解析网页源代码，提取需要的数据。 4. 将提取的数据存储到本地文件或数据库中。 下面是一个简单的示例，演示如何使用Python爬虫爬取携程网站的旅游数据： ```python import requests from bs4 import BeautifulSoup # 发送请求，获取网页源代码 url = 'https://you.ctrip.com/sight/china110000.html' response = requests.get(url) html = response.text # 解析网页源代码，提取需要的数据 soup = BeautifulSoup(html, 'html.parser') sight_list = soup.find_all('div', class_='list_mod2') for sight in sight_list: name = sight.find('div', class_='rdetailbox').find('a').text address = sight.find('p', class_='address color999').text score = sight.find('span', class_='score').text print(name, address, score) # 将提取的数据存储到本地文件或数据库中 # 这里只是简单地输出到控制台 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值