中国天气网数据爬取

本文介绍了如何爬取中国天气网的地区最低和最高气温数据,并将其存储到CSV文件中。主要涉及的技术包括开启多线程进行数据抓取以及利用BeautifulSoup4解析HTML文档。在多线程部分,讲解了Queue模块的方法,如qsize(), empty(), full()以及get()和task_done()。在BeautifulSoup4部分,提到了它将HTML转化为树形结构,便于处理标签、NavigableString、BeautifulSoup和Comment等对象。" 136168549,17663336,2024华为OD机试:机场航班调度算法-Python实现,"['Python', '算法', '字符串处理', '排序', '华为开发']
摘要由CSDN通过智能技术生成

爬取中国天气网数据:

目标数据:地区名 最低气温,最高气温

存入cvs表中

 

知识点

一、开启多线程

class Queue.Queue(maxsize) FIFO 先进先出

  • Queue.qsize() 返回队列的大小
  • Queue.empty() 如果队列为空,返回True,反之False
  • Queue.full() 如果队列满了,返回True,反之False
  • Queue.full 与 maxsize 大小对应
  • Queue.get([block[, timeout]])获取队列,timeout等待时间
  • Queue.task_done()表示队列中某个元素呗消费进程使用,消费结束发送的信息。每个get()方法会拿到一个任务,其随后调用task_done()表示这个队列,这个队列的线程的任务完成。就是发送消息,告诉完成啦!
  •  

二、BeautifulSoup4

文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

Beautiful

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值