wget批量下载需要的登录才能查看的网站

2019独角兽企业重金招聘Python工程师标准>>>

wget -np  -m  -p -k   --load-cookies='/root/cookies.txt'   -i  url.txt  -P   /root/disk/toshiba/bitcion/44

下载火狐cookie导出插件https://addons.mozilla.org/en-US/firefox/addon/export-cookies/，登录网站后把cookie导出（在tool选项卡下）

--load-cookies  

 

其他说明参考zhang_way的blog    http://blog.csdn.net/zwto1/article/details/44810341

-i 传入下载地址的文件夹 格式为直接粘贴url，换行符分开即可

-np 只下载给定URL下的内容，不下载它的上级内容

-p 下载有关页面需要用到的所有资源，包括图片和css样式

-k 将绝对路径转换为相对路径（这个很重要，为了在用户打开网页的时候，加载的相关资源都在本地寻找）

-m 它会打开镜像相关的选项，比如无限深度的子目录递归下载

转载于:https://my.oschina.net/yihong/blog/875536