【python爬取中央气象台每日预报结果】 selenium=4.12.0

爬取中央气象台每日预报结果

1、数据网站介绍

  中央气象台网站提供了1-7天的各要素预报信息(这里以降水信息为例)。该网站通过气象观测数据和数值模型分析,提供了全国范围内各地区未来几天的降水情况预报。用户可以通过该网站获取准确的降水预报,以便做出相应的气象决策和安排。无论是个人还是专业人士,都可以在中央气象台网站上获取可靠的降水预报信息,以帮助其日常生活或工作中的气象需求。

2、python爬取代码 - 有界面

"""
selenium==4.12.0
"""
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import urllib

# 创建浏览器操作对象
s = Service(r"D://Downloads//chromedriver-win64-117.0.5938.88//chromedriver.exe")
browser = webdriver.Chrome(service=s)

# 打开网站
browser.get('http://www.nmc.cn/publish/precipitation/1-7day-precipitation.html')
day_str = ['24小时', '48小时', '72小时', '96小时', '120小时', '144小时', '168小时']
for day in day_str:
    browser.find_element(By.LINK_TEXT, value=day).click()
    imgpath = browser.find_element(By.XPATH, '//*[@id="imgpath"]')
    imgsrc = imgpath.get_attribute('src')
    full_name = imgsrc.split('/', -1)[-1].split('_')[-1].split('?')[0]
    img_name = full_name[:8] + "-" + full_name[12:15] + full_name[-4:]

    # 下载图片
    urllib.request.urlretrieve(url=imgsrc, filename='./中央气象台/'+img_name)
    print("{}下载完成".format(img_name))

3、python爬取代码 - 无界面headless

"""
selenium==4.12.0
"""
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import urllib

# 创建浏览器操作对象
s = Service(r"D://Downloads//chromedriver-win64-117.0.5938.88//chromedriver.exe")

# 设置无界面打开浏览器 后台运行   无浏览器模式  注释则是浏览器模式
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

# 创建浏览器对象
browser = webdriver.Chrome(service=s,  options=chrome_options)

# 打开网站
browser.get('http://www.nmc.cn/publish/precipitation/1-7day-precipitation.html')
day_str = ['24小时', '48小时', '72小时', '96小时', '120小时', '144小时', '168小时']
for day in day_str:
    browser.find_element(By.LINK_TEXT, value=day).click()
    imgpath = browser.find_element(By.XPATH, '//*[@id="imgpath"]')
    imgsrc = imgpath.get_attribute('src')
    full_name = imgsrc.split('/', -1)[-1].split('_')[-1].split('?')[0]
    img_name = full_name[:8] + "-" + full_name[12:15] + full_name[-4:]

    # 下载图片
    urllib.request.urlretrieve(url=imgsrc, filename=img_name)
    print("{}下载完成".format(img_name))

4、执行结果

在这里插入图片描述

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
你可以使用Selenium爬取淘宝商品信息。下面是一个简单的示例代码,演示了如何使用SeleniumPython中进行淘宝商品信息爬取: ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 设置Chrome浏览器的驱动路径 driver_path = 'path/to/chromedriver' # 初始化Chrome浏览器 options = webdriver.ChromeOptions() options.add_argument('--headless') # 无头模式,不显示浏览器界面 driver = webdriver.Chrome(executable_path=driver_path, options=options) # 打开淘宝商品页面 driver.get('https://www.taobao.com/') # 定位搜索框并输入关键字 search_input = driver.find_element(By.CSS_SELECTOR, '#q') search_input.send_keys('商品关键字') # 点击搜索按钮 search_button = driver.find_element(By.CSS_SELECTOR, '.btn-search') search_button.click() # 等待搜索结果加载完成 WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, '.JIIxO.m-itemlist'))) # 解析搜索结果并提取商品信息 items = driver.find_elements(By.CSS_SELECTOR, '.JIIxO.m-itemlist .JIIxO.m-itemlist .JIIxO') for item in items: title = item.find_element(By.CSS_SELECTOR, '.title').text price = item.find_element(By.CSS_SELECTOR, '.price').text print(f'商品名称:{title},价格:{price}') # 关闭浏览器 driver.quit() ``` 请注意,这只是一个简单的示例代码,实际应用中可能需要更多的处理和错误处理。此外,淘宝网站有一些反爬虫机制,因此在实际使用时需要注意遵守相关规定,避免被封禁。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值