Python爬虫实战(一) ---- 制作自己的桌面天气小工具

已于 2022-11-30 10:30:57 修改
阅读量641 收藏 3
点赞数 3
分类专栏： Python 爬虫 Python 文章标签： python 爬虫
于 2022-11-30 10:22:29 首次发布
版权声明：本文为博主原创文章，遵循 CC BY-NC-SA 4.0 版权协议，转载请附上原文出处链接和本声明。禁止商业用途。
本文链接：https://blog.csdn.net/weixin_43130747/article/details/128086686
版权

请添加图片描述

文章目录


本节使用的是某du天气 https://weathernew.pae.baidu.com/weathernew/pc

💖分析网站🌈

⛅目标：获取当前 温度，天气，风向风力

在这里插入图片描述

🔬分析

先来看下重庆天气，我们可以看到地址栏传入了两个参数query=重庆天气和srcid=4982
在这里插入图片描述
第一个很好办，只需要城市名字就行了。
对于第二个参数，我们打开北京和广州的页面，发现srcid不变，那这就好解决了
在这里插入图片描述
在这里插入图片描述
用postman尝试请求一下
在这里插入图片描述
看到这里
在这里插入图片描述

window.tplData = {
	"logo":{"url":"https:\/\/www.baidu.com\/"},
	"weather":{
		"bodytemp_info":"\u6e7f\u5ea6\u5927\uff0c\u4f53\u611f\u6e7f\u51c9",
		"wind_direction":"\u897f\u5317\u98ce",
		"site":"mlogcn",
		"weather":"\u96fe",
		"dew_temperature":"14",
		"precipitation_type":"\u65e0\u964d\u96e8\u548c\u964d\u96ea",
		"wind_direction_num":"7",
		"temperature":"17",
		"wind_power":"2\u7ea7",
	...
	}
	...
}

将其中的Unicode解码:

window.tplData = {
	"logo":{"url":"https:\/\/www.baidu.com\/"},
	"weather":{
		"bodytemp_info":"湿度大，体感湿凉",
		"wind_direction":"西北风",
		"site":"mlogcn",
		"weather":"雾",
		"dew_temperature":"14",
		"precipitation_type":"无降雨和降雪",
		"wind_direction_num":"7",
		"temperature":"17",
		"wind_power":"2级",
	...
	}
	...
}

啊哈，对上了。所以我们需要的数据就明确了

  • wind_direction
  • weather
  • temperature
  • wind_power

💻Coding with 🧡

🔎获取数据

注意可能get不完全，但对于此例子够用了
头文件：

import requests
import re
import json

requests用来爬数据，re和json都是拿来处理数据的
下面获取网页

def getData(city):
	url = "https://weathernew.pae.baidu.com/weathernew/pc"
    header = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.56"}
    query = city + "天气"
    param = {"query":query,"srcid":"4982"}
    response = requests.get(url,params=param,headers=header).text

这个函数我们传入要获取的城市名，url为目标地址，header是来伪装爬虫的，param为参数。
使用正则表达式从js中将其分离出来：

	temperature_u = re.match( r".*\"temperature\":\"(.*?)\",", response).group(1) 
    weather_u = re.match( r".*\"weather\":\"(.*?)\",", response).group(1)
    wind_direction_u = re.match( r".*\"wind_direction\":\"(.*?)\",", response).group(1)
    wind_power_u = re.match( r".*\"wind_power\":\"(.*?)\",", response).group(1)

这里我们会遇到一个问题就是获取的数据为Unicode字符串。
在这里插入图片描述
因此我们还需一个函数对其进行转换

def u2cc(str):    #Unicode to Chinese Character
    return json.loads('"%s"' %str)

此部分完整代码：

import requests
import re
import json

def u2cc(str):    #Unicode to Chinese Character
    return json.loads('"%s"' %str)

def getData(city):
    url = "https://weathernew.pae.baidu.com/weathernew/pc"
    header = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.56"}
    query = city + "天气"
    param = {"query":query,"srcid":"4982"}
    response = requests.get(url,params=param,headers=header).text
    #get unicode data
  temperature_u = re.match( r"^.*\"temperature\":\"(.*?)\",", response).group(1) 
    weather_u = re.match( r"^.*\"weather\":\"(.*?)\",", response).group(1)
    wind_direction_u = re.match( r"^.*\"wind_direction\":\"(.*?)\",", response).group(1)
    wind_power_u = re.match( r"^.*\"wind_power\":\"(.*?)\",", response).group(1)
    return [u2cc(temperature_u),u2cc(weather_u),u2cc(wind_direction_u),u2cc(wind_power_u)]

测试一下：

if __name__ == "__main__":
    print(getData("重庆"))

在这里插入图片描述
肥肠的完美👍

🌊添加GUI

这里用到的是tkinter,并且引入了多线程

import requests
import re
import json
from tkinter import *
from PIL import Image,ImageTk
from threading import Thread
from queue import Queue
import time

全局队列，用于线程之间通信：

exit_code = Queue(1)
data = Queue(1)

🍔App类

class App():
    def __init__(self,exit_code,data):
        self.win = Tk()
        self.win.attributes("-topmost",1)

        self.x, self.y = 0, 0
        self.win_size = '200x150'

        self.win.overrideredirect(True)
        self.win.geometry(f"{self.win_size}")

        self.canvas = Canvas(width=200, height=150, highlightthickness=0, borderwidth=0)
        self.canvas.place(x=0, y=0)

        self.bg = PhotoImage(file = "./imgs/1.bg.gif")
        self.bg_id = self.canvas.create_image(0, 0, image=self.bg, anchor='nw')

        ls_data = data.get()

        self.txt_temperature_id=self.canvas.create_text(10,40, font=("Arial", 32),anchor="nw",fill="white")
        self.canvas.insert(self.txt_temperature_id,1,ls_data[0]+"℃")
        self.txt_weather_id=self.canvas.create_text(120,60, font=("Arial", 16),anchor="nw",fill="white")
        self.canvas.insert(self.txt_weather_id,1,ls_data[1])
        self.txt_wind_direction_id=self.canvas.create_text(10,110, font=("Arial", 16),anchor="nw",fill="white")
        self.canvas.insert(self.txt_wind_direction_id,1,ls_data[2])
        self.txt_wind_power_id=self.canvas.create_text(100,110, font=("Arial", 16),anchor="nw",fill="white")
        self.canvas.insert(self.txt_wind_power_id,1,ls_data[3])


        self.win.bind("<B1-Motion>", self.move)
        self.win.bind("<Button-1>", self.get_point)
        self.win.bind("<Double-Button-1>", self.close)

    def move(self, event):
        new_x = (event.x - self.x) + self.win.winfo_x()
        new_y = (event.y - self.y) + self.win.winfo_y()
        s = f"{self.win_size}+{new_x}+{new_y}"
        self.win.geometry(s)

    def get_point(self, event):
        self.x, self.y = event.x, event.y

    def run(self):
        self.win.mainloop()

    def close(self, event):
        self.win.destroy()
        exit_code.put("quit")

背景图(呃，确实有一点小粗糙，不过不影响)
请添加图片描述

⏰更新函数

def data_update_thread(exit_code,data):
    data.put(getData("重庆"))
    while(exit_code.empty()):
        time.sleep(120)#update once per 2 minutes
        data.empty()
        data.put(getData("重庆"))

🎄最后调用，注册线程

if __name__ == "__main__":
    dut = Thread(target=data_update_thread,args=(exit_code,data))
    dut.start()
    app = App(exit_code,data)
    app.run()

🏆最终效果🏆

请添加图片描述

Python桌面天气效果

🍻完整源码

import requests
import re
import json
from tkinter import *
from PIL import Image,ImageTk
from threading import Thread
from queue import Queue
import time

exit_code = Queue(1)
data = Queue(1)

def u2cc(str):    #Unicode to Chinese Character
    return json.loads('"%s"' %str)

def getData(city):
    url = "https://weathernew.pae.baidu.com/weathernew/pc"
    header = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.56"}
    query = city + "天气"
    param = {"query":query,"srcid":"4982"}
    response = requests.get(url,params=param,headers=header).text
    #get unicode data
    temperature_u = re.match( r"^.*\"temperature\":\"(.*?)\",", response).group(1) 
    weather_u = re.match( r"^.*\"weather\":\"(.*?)\",", response).group(1)
    wind_direction_u = re.match( r"^.*\"wind_direction\":\"(.*?)\",", response).group(1)
    wind_power_u = re.match( r"^.*\"wind_power\":\"(.*?)\",", response).group(1)
    return [u2cc(temperature_u),u2cc(weather_u),u2cc(wind_direction_u),u2cc(wind_power_u)]


def start_move(self, event):
    self.x = event.x
    self.y = event.y

def stop_move(self, event):
    self.x = None
    self.y = None

def do_move(self, event):
    deltax = event.x - self.x
    deltay = event.y - self.y
    x = self.winfo_x() + deltax
    y = self.winfo_y() + deltay
    self.geometry(f"+{x}+{y}")

def data_update_thread(exit_code,data):
    data.put(getData("重庆"))
    while(exit_code.empty()):
        time.sleep(120)#update once per 2 minutes
        data.empty()
        data.put(getData("重庆"))

class App():
    def __init__(self,exit_code,data):
        self.win = Tk()
        self.win.attributes("-topmost",1)

        self.x, self.y = 0, 0
        self.win_size = '200x150'

        self.win.overrideredirect(True)
        self.win.geometry(f"{self.win_size}")

        self.canvas = Canvas(width=200, height=150, highlightthickness=0, borderwidth=0)
        self.canvas.place(x=0, y=0)

        self.bg = PhotoImage(file = "./imgs/1.bg.gif")
        self.bg_id = self.canvas.create_image(0, 0, image=self.bg, anchor='nw')

        ls_data = data.get()

        self.txt_temperature_id=self.canvas.create_text(10,40, font=("Arial", 32),anchor="nw",fill="white")
        self.canvas.insert(self.txt_temperature_id,1,ls_data[0]+"℃")
        self.txt_weather_id=self.canvas.create_text(120,60, font=("Arial", 16),anchor="nw",fill="white")
        self.canvas.insert(self.txt_weather_id,1,ls_data[1])
        self.txt_wind_direction_id=self.canvas.create_text(10,110, font=("Arial", 16),anchor="nw",fill="white")
        self.canvas.insert(self.txt_wind_direction_id,1,ls_data[2])
        self.txt_wind_power_id=self.canvas.create_text(100,110, font=("Arial", 16),anchor="nw",fill="white")
        self.canvas.insert(self.txt_wind_power_id,1,ls_data[3])


        self.win.bind("<B1-Motion>", self.move)
        self.win.bind("<Button-1>", self.get_point)
        self.win.bind("<Double-Button-1>", self.close)

    def move(self, event):
        new_x = (event.x - self.x) + self.win.winfo_x()
        new_y = (event.y - self.y) + self.win.winfo_y()
        s = f"{self.win_size}+{new_x}+{new_y}"
        self.win.geometry(s)

    def get_point(self, event):
        self.x, self.y = event.x, event.y

    def run(self):
        self.win.mainloop()

    def close(self, event):
        self.win.destroy()
        exit_code.put("quit")

if __name__ == "__main__":
    dut = Thread(target=data_update_thread,args=(exit_code,data))
    dut.start()
    app = App(exit_code,data)
    app.run()

🧡项目地址🧡

⭐欢迎Star与Fork⭐

点击下面的图片跳转哟~
orbitgw
关注
专栏目录
实践项目四：桌面版python 查询天气（3）
xunalove的博客
07-10 1092
1.实现了直接输入城市名字查询 2.信息更多样化 3.前面是获取网页信息后，通过正则表达式匹配，这次使用eval()转换为字典，提取字典中的元素。 4.这次的API接口：点击打开链接 import requests import json url = 'http://wthrcdn.etouch.cn/weather_mini?citykey=%s'% '101010100' respo
python代码案例详解-Python代码样例列表
weixin_37988176的博客
11-01 4729
扫描左上角二维码，关注公众账号 数字货币量化投资，回复“Python例子”，获取以下600个Python经典例子源码├─algorithm│ Python用户推荐系统曼哈顿算法实现.py│ NFA引擎,Python正则测试工具应用示例.py│ Python datetime计时程序的实现方法.py│ python du熊学斐波那契实现.py│ p...
Python--tkinter迷你天气预报软件(11.8)
MusicMan
11-08 2833
通过做这个软件，里面有很多知识点，现在直接上代码好了 """妙啊天气预报桌面系统""" #导入相关模块 import io import tkinter from PIL import Image,ImageTk from tkinter import messagebox import requests def resize( w_box, h_box, pil_image): ...
用python创建桌面天气查询小程序
07-07
根据自己上课所学的敲的代码，用python自带的tkinter模块创建的桌面天气查询小程序，上传的为了获取积分然后下载其他资源加深自己的学习，希望大家支持。
python语言实例-Python代码样例列表
weixin_37988176的博客
11-01 3723
├─algorithm│ Python用户推荐系统曼哈顿算法实现.py│ NFA引擎,Python正则测试工具应用示例.py│ Python datetime计时程序的实现方法.py│ python du熊学斐波那契实现.py│ python lambda实现求素数的简短代码.py│ Python localtime()方法计算今天是一...
python代码示例-Python代码样例列表
q6q6q的专栏
10-28 4159
├─algorithm│ Python用户推荐系统曼哈顿算法实现.py│ NFA引擎,Python正则测试工具应用示例.py│ Python datetime计时程序的实现方法.py│ python du熊学斐波那契实现.py│ python lambda实现求素数的简短代码.py│ Python localtime()方法计算今天是一...
视频教程-PyQt5开发与实战视频教程-Python
weixin_31487809的博客
05-28 2321
PyQt5开发与实战视频教程 东北大学计算机专业硕士研究生，欧瑞科技创始人&...
python编程入门与案例详解-"Python小屋”免费资源汇总（截至2018年11月28日）...
q6q6q的专栏
10-28 8369
原标题："Python小屋”免费资源汇总（截至2018年11月28日）为方便广大Python爱好者查阅和学习，特整理汇总微信公众号"Python小屋”开通29个月以来推送过的700多篇文章清单，如果需要本清单的电子版，可以在公众号后台发送消息"资源汇总”获取下载地址。非计算机专业《Python程序设计基础》教学参考大纲计算机相关专业"Python程序设计”教...
[python]天气预报（附带gui界面）
12-30
这是python版的天气预报。 使用须知： 使用前请pip安装requests和BeautifulSoup库！ 原理： 利用爬虫获取天气信息 解码 gui显示 默认为北京的天气，可在代码第七行改！ #可以看看我的其他资源鸭！
基于PyQt5实现的桌面天气小部件.rar
05-22
基于anaconda3.5 pyqt5写的桌面天气部件，通过调用天气预报接口，可以自动获取当地天气并显示，使用pyinstaller打包为exe文件，桌面部件打开后，可以通过点击鼠标中键（滚轮）关闭。想要源码的可以留言。刚接触pyqt，可能有些小问题，请见谅。
python写的天气查询小程序
01-28
这是用python写的天气查询小程序。默认查询北京天气，不过可以带一个地点的参数。由于这是本人为自己写的小工具，所以是在命令行下显示的，没有什么绚丽的界面，还望要求高的童鞋勿喷
桌面爬虫，可以手动添加爬虫数
09-13
桌面爬虫，点击即可运行，拿来玩玩，可以手动添加爬虫数，最高级显示出来；
Python tkinter界面实现历史天气查询的示例代码
09-16
主要介绍了Python tkinter界面实现历史天气查询的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
python3GUI--天气预报小工具By:PyQt5（附源码）
懷淰メ的博客
09-16 2282
文章目录一．准备工作二．预览1.启动2.添加城市三．设计流程四．源代码五．总结 之前用tk写过一款python3GUI–天气预报小工具实现了所在天气定位，以及指定城市天气预报的查询，这次使用PyQt5在之前tk的基础上加以改进，虽然功能没有新的增加，但是软件整体速度上有明显的变化，开整吧。 一．准备工作 基于PyQt5的QT设计师，安装、配置详见： PyCharm安装PyQt5及其工具（Qt Designer、PyUIC、PyRcc）详细教程 二．预览 1.启动 启动后，会自动定位当前所在城市，展示
【Python】实现一个天气查询
菜鸟成长记
07-18 4904
实现一个桌面版的天气查询天气API 首先找获取天气的API:点击查看天气api 可能这篇博客写的有点乱，我来总结一下http://wthrcdn.etouch.cn/weather_mini?city=北京 通过城市名字获得天气数据，json数据 http://wthrcdn.etouch.cn/weather_mini?citykey=101010100 通过城市id获得天气数据，json数据
Python TKinter 天气时钟
interval_package的博客
02-10 1277
用Python的tk做了一个可以用的小天气时钟软件 分享给大家啦 # pageFrame from tkinter import * import math, time import threading as thd from getWeather import * class clockPage(Frame): def __init__(self, master=None): Frame.__init__(self, master) # 预定义变量
用Python爬虫，寻找这个夏天最凉快的地方。
weixin_64843653的博客
05-23 245
一行代码，查询天气
python桌面爬虫_Python爬虫 爬取彼岸桌面壁纸 netbian 1920x1080
weixin_39549852的博客
12-10 239
本文的文字及图片来源于网络，仅供学习、交流使用，不具有任何商业用途，如有问题请及时联系我们以作处理。之前我们对使用Python语言进行网页爬取已经比较熟悉了。今天我们再对所用到的知识进行一下巩固，爬取彼岸桌面壁纸。之所以选择这个网站，是因为他的图片壁纸都是高分辨率的，非常适合作为桌面壁纸使用。网站是这样子滴 页面分析1、通过一直点击 下一页 可以看到网站内的全部套图 2、通过爬取单个页面，可以获取...
Python自学requests-html：入门与实战教程
在本文档中，作者讲述了其在暑假期间选择自学Python爬虫的经历，特别关注了`requests-html`这一框架。开始时，作者在互联网上搜索资料，虽然...通过作者的经验分享，读者可以更好地理解和掌握这一强大的Python爬虫库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

orbitgw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值