![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 58
傻灰
这个作者很懒,什么都没留下…
展开
-
PO.DAAC数据下载
Ocean Color 或者 PO.DAAC 数据下载由于直接从Ocean Color 或者PO.DAAC 网页下载数据时,网络经常会中断,甚至速度很慢。本文介绍一个方法,当然也是官方提供的,通过Linux命令下载的方式。首先访问https://podaac.jpl.nasa.gov/,搜索找到你想要下载的数据,我这里以MODIS的Level 3产品为例。在"Data Access"一栏可以看到这个产品下载的网址在"Web Service"中。另外,在"Information"一栏中可以找到产品的简称 (原创 2021-12-18 10:45:53 · 2287 阅读 · 1 评论 -
如何解决警告InsecureRequestWarning: unverified HTTPS request is being made to host
警告InsecureRequestWarning: unverified HTTPS request is being made to host下载数据的时候经常会遇到这个警告,虽然不影响使用,但看起来也很糟心,特别是你的console控制台出现一大堆英文提示覆盖了有效的信息时,本人决定到官方所给的网站去探寻一番。官方的说明如下PoolManager 这个类为每一个 Post 自动创建处理ConnectionPool 实例,默认最大的ConnectionPool 为10个,如果你有很多的请求,你需要去原创 2021-03-17 11:31:08 · 40850 阅读 · 2 评论 -
ERA5数据批量下载-多进程
本人之前的博客中介绍了批量下载ERA5数据的方法,在这里再此对方法进行优化,采用多进程下载。采用的Python 的Multiprocessing。可以根据需求选择相应的参数、空间范围、分辨率、时间等等。__author__ = "LNH"import cdsapiimport numpy as npimport calendarimport os from multiprocessing import Processdef download(c, var, year, month, da原创 2020-11-21 12:53:23 · 2178 阅读 · 13 评论 -
ERA5数据批量下载
欧洲数值预报中心-ERA5数据下在本文提供了一个下载ERA5-land hourly data 的示例import cdsapiimport numpy as npimport calendarimport os# define directory in which data shall be storedos.chdir("F:/era5")#账号的url\uid\keyc = cdsapi.Client(url= "https://cds.climate.copernicus.eu原创 2020-07-28 10:33:41 · 3351 阅读 · 13 评论 -
Python网络爬虫验证码识别
本文主要利用tesseract识别网页登陆中的验证码(从图像的角度,不是Cookie)很多人对CAPTCHA(验证码)很熟悉,但是很少有人知道其含义:全自动区分计算机和人类的图灵测试。通俗的讲就是是一种区分人和人工智能程序的方法。很多的网页都设置了验证码,常见的就是由“字母数字”组成的图片,如下:本文的代码是利用selenium模拟浏览器的运行,识别登陆界面的验证码,分割验证码的区域然后识别...原创 2020-04-30 20:46:01 · 630 阅读 · 3 评论