python基础爬虫——爬取天气预报信息

最新推荐文章于 2024-08-17 13:56:26 发布

pitiful dog

最新推荐文章于 2024-08-17 13:56:26 发布

阅读量6.2k

点赞数 5

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/felldeng/article/details/113103454

版权

本文介绍了如何使用Python进行基础的网络爬虫，目标是抓取天气预报数据并存储到数据库。首先，通过查看浏览器user-agent来模拟浏览器访问，减少被屏蔽的风险。接着，讲述了如何创建数据库和数据表，但由于地区限制，实际爬取中国天气网的天气信息未完成，作者计划在其他网站上实现。

摘要由CSDN通过智能技术生成

困于心衡于虑而后作
今天的学习目标是：编写爬虫程序爬取天气预报信息并保存到数据库

技术实现：
1、爬取普通的网页信息，查看浏览器的user-agnet
2、编写sql语句，创建相应的数据表，并编写存储数据的语句
3、实现爬取中国天气网的信息（由于地区限制，现在爬取不了天气，之后将在其他网站上实现）

1.python代码爬取网页信息并显示运行结果
首先查看自己浏览器的user-agent
打开检查，点击网络network，然后重新加载自己的页面，就会出现如下界面：
在这里插入图片描述
随便点击一项进去之后，就可以看见返回信息或者是请求信息，这里查看的是header信息
我们可以将这个header信息做成字典，然后在爬虫程序中将信息提交，让爬虫程序模拟浏览器访问网页，在配合使用time库时，爬取网页信息不会给服务器造成太大的负担，能减少爬虫被屏蔽的概率
这里我们可以看到浏览器的user-agent
在这里插入图片描述

在爬虫程序中，将user-agent做成字典

from bs4 import BeautifulSoup
from bs4 import UnicodeDammit
import urllib.request

url = 'http://www/weather.com.cn/weather/101280601.shtml'
try:
    headers = {
   
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
    req = urllib.request.Request(url, headers=headers)
    data = urllib.request.urlopen(req)
    data = data.read()
    dammit = UnicodeDammit(data, ['utf-8', 'gbk'])
    data = dammit.unicode_markup
    soup = BeautifulSoup(data, 'lxml')
    lis = soup.select("ul[class='t clearfix'] li")
    for li in lis:
        try:
            date = li.select('h1')[0].text
            weather = li.select("p[class='wea']")