2021-07-06

爬虫+批量下载

网上有很多的爬虫的方法，但是容易被反爬虫。如果你和我一样，爬取的数量不多，建议使用八爪鱼采集器进行爬虫。

八爪鱼爬虫

：

1. 新建任务：把网址粘贴过来
   

2.识别网页数据之后，就可以点生成采集设置，这儿有个翻页滚动打勾，就可以自己进行翻页采集。

3. 保存并开始采集，最后就可以生成表格保存网址
   

you-get下载

下载安装可以看这个：
you-get

将你用八爪鱼的生成的网址保存在.txt文件中，接下来进行批量下载

1、新建一个txt，输入

@echo off
for /f "delims=," %%i in (url_list.txt) do (
you-get -l -o ./ %%i
)
pause

@echo off就是批量处理的意思

2、将txt文件保存为.bat文件。这时候你就可以看到一个Windows批量处理文件

3、将txt文件直接拖入到.dat文件，就可以批量下载啦

问题：我试了这种方法，下载起来蛮快，但是下载300多首歌就被禁了。

annie下载

下载安装: annie.
批量下载和you-get方法一样
1、建立一个.txt文件
输入：

@echo off
for /f "delims=," %%i in (url_list.txt) do (
annie -i -o ./ %%i
)
pause

2、另存为.bat的Windows处理文件。
3、将.txt文件拖入到.bat文件进行批处理。

使用硕鼠软件下载(推荐，不会断，不会反爬虫)

下载使用地址