python_爬虫获取Modis数据下载页面的数据链接

最新推荐文章于 2024-07-14 10:25:44 发布

Zoe_左

最新推荐文章于 2024-07-14 10:25:44 发布

阅读量1.9k

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/u012131430/article/details/81940207

版权

该博客介绍了如何使用Python爬虫从Modis数据下载页面抓取数据链接，这些链接可以用于后续的批量下载操作，既可以通过代码直接下载，也可以复制到下载工具如IDM或迅雷中进行批量下载。

摘要由CSDN通过智能技术生成

# -*- coding: utf-8 -*-
"""
Created on Sat Jul 21 14:35:57 2018

@author: Administrator
"""
import re
import urllib
from bs4 import BeautifulSoup
import csv
rawurl=r'https://e4ftl01.cr.usgs.gov/MOLT/MOD11A2.006/2005.09.30/'    #20050930数据下载页面链接
file=r'G:\MOD13A3_NDVI\DATA'    #链接存储位置
t=[]
urls=[]
U=[]
PP=[]
content = urllib.request.urlopen(rawurl).read().decode('ascii')  #获取页面的HTML
soup = BeautifulSoup(content, 'lxml')
print(soup.prettify())
s=[soup.find_all('a')]
#print(soup.find_all('a'))
#使用正则表达匹配下载需要的研究区对应行号的Modis数据， 如下为 h2304,h2305等
reinfo=re.compile(r'MOD11A2[0-9a-zA-Z\_.]{10}h23v04[0-9a-zA-Z\_.]{19}hdf$')  #正则表达匹配
reinfo1=re.compile(r'MOD11A2[0-9a-zA-Z\_.]{10}h23v05[0-9a-zA-Z\_.]{19}hdf$') #正则表达匹配
reinfo2=re.compile(r'MOD11A2[0-9a-zA-Z\_.]{10}h24v04[0-9a-zA-Z\_.]{19}hdf$') #正则表达匹配