wget使用python_Python+wget批量下载

RRL SKILLs频道只讨论技术话题
~~~~~~~~~ 由于处理数据的需要，需要找到海面温度的历史统计信息。可惜这个数据并不常见，且地理覆盖范围广，并没有现成的数字化的格网数据供下载(经过一天的搜索其实找到了原始数据，之后再聊)，最常见的数据为各种图片。 而看海面温度最便于使用的即为SSTA，即为海面温度异常。 在NOAA的页面是： https://www.ospo.noaa.gov/Products/ocean/sst/anomaly/index.html

在CMA NCC的页面是： https://cmdp.ncc-cma.net/pred/cn_enso.php?product=cn_enso_oisstv2&pred_elem=month_ssta

两个地址提供的都是图片格式数据。所以涉及到一次性下载那么多数据的批量下载难题。如果有下载工具那种可以批量下载的软件倒是轻松了。但是既然装了python，而且他最厉害的功能之一就是做爬虫。批量下载对于python来说就是简单的不能再简单的功能了。 这里用到的批量下载工具是wget 先运行命令：py -m pip install wget 把wget安装到3.8版本下(不知道为什么不能直接pip的，原因在之前的一篇里有解释过： python系统配置 ) 之后的步骤就很简单了 1、获取规则化的下载地址，这里建议做一个excel文件用公式做出所有有效地址。在做文件之前，需要研究一下实际图片地址的规律。 2、编辑如下python代码

import wget as wgfo = open('cma_ssta_monthly_1982-2019.txt')urllist = fo.read().splitlines()count=len(urllist)out_path=''i=0while i<count:  print(urllist[i])  out=wg.download(urllist[i],out=out_path)  i=i+1fo.close()

3、运行和等待下载完成 wget只是下载的一个最简单的方法，也可以嵌入到爬虫里面，把找到的信息复制到本地，更常见的引用场景就是把这个应用于镜像网络站点使用。
当然上面的wget代码有缺点，如不灵活，再如不能伪装成浏览器访问(容易被墙)，试验了几次NOAA网址，结果NOAA的页面就不能访问了。今天亲测又可以了。 欢迎您在文末留言分享您的见解和您的常用方法。
如果您想获取文件名列表，请关注本号，并在公众号回复
“cmahccsstafilelist1982-2019”
获取文件名txt文件下载地址，与往常一样，理论1/4的回复概率，试试看您回复几次获取到地址。 (本集完) 欢迎留言和添加小编微信号 xrm-rrl 进一步交(tiao)流(xi)

---

RRL SKILLs 用蒙特卡洛算派 用python玩一玩蒙特卡洛过程 python程序优化 python系统配置 数据处理之思考01 [原创]让地图会说话

---

观点 ENSO周期与气旋生成 [原创]过了防灾减灾日，再谈风险管理 [原创]区块链的保险应用2 [原创]区块链的保险应用1 舟曲之痛 [原创]风险地图也风险 [原创]农业指数保险观察 论人为风险的重要性 无人机技术在灾害勘察中的应用和挑战 巨灾杂谈

---

xbb [xbb]19001-经典教材 [xbb]19002-家教 [xbb]19003-提问 [xbb]19004-疯癫 [xbb]19005-高寿 [xbb]19006-香港理工攻略 [xbb]19007-好东西 [xbb]19008-泡泡 [xbb]20001-热 [xbb]20002-金黄的乡愁如丝 [xbb]20003-极乐visa [xbb]20004-纠结的数字 [xbb]20005-天气股票