Python实现网页天气爬虫程序

最新推荐文章于 2024-08-17 13:56:26 发布

Python老王

最新推荐文章于 2024-08-17 13:56:26 发布

阅读量784

点赞数

文章标签： Python 爬虫 Python基础编程语言

本文链接：https://blog.csdn.net/Pythonlaowan/article/details/100318287

版权

本文介绍了如何使用Python进行网页天气爬虫的实现，主要涉及urllib库获取网页HTML以及正则表达式解析数据。通过简单的两步，即可从网页中抓取到所需天气信息。

摘要由CSDN通过智能技术生成

说道爬虫大家或许感觉非常神秘，其实它没有我们想象的那么神奇，今天我们就来揭开它神秘的面纱。呵呵，简单两步就可以实现一个网页天气爬虫程序。。。

爬虫简单说来包括两个部分：

1.获得网页文本信息。

2.数据分析，获取其中我们想要的数据。

#1、获得网页文本信息。

python在获取html方面十分方便，有了urllib库的帮助，只需要几行代码就可以实现我们需要的功能。


#引入urllib库
import urllib
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
Python学习qun：784758214  内有安装包，学习视频资料，PDF资源

这里返回的就是网页的源代码，也就是html代码。

那我们如何从中得到我们想要的信息呢？那就需要用到在网页分析里面最最常用的工具 - 正则表达式了。

#2、根据正则表达式等获得需要的内容。

使用正则表达式时需要仔细观察该网页信息的结构，并写出正确的正则表达式。

python正则表达式的使用也很简洁：

#引入正则表达式库
import re
def getWeather(html):
reg = '<a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b>'
weatherList = re.compile(reg).findall(html)
return weatherList

其中reg是正则表达式&#