利用wget全量爬取列表明细10万条

最新推荐文章于 2023-02-21 14:59:01 发布

weixin_33871366

最新推荐文章于 2023-02-21 14:59:01 发布

阅读量298

点赞数

文章标签： java

原文链接：https://my.oschina.net/h2do/blog/473036

版权

为什么80%的码农都做不了架构师？>>>

1、生成下载分页列表list.txt

1)无法指定分页大小，URL中带页数如p=3，page/1

2)允许指定分页大小，max=100&offset=200，max表示一页显示几条数据，offset表示从第几条后开始显示

通过excel很容易生成一个列表

2、爬取列表页面

wget -b -t 3 -i list.txt --no-cookies，-b在后台抓取，-t重试3次

3、利用正则解析列表明细地址，通过EditPlus正则查找文件夹替换也能搞定，以下为java代码：

File dir = new File("list");
File[] fs= dir.listFiles();
int len = -1; char[] cbuf = new char[10240];
for(File f : fs){
    FileReader fr = new FileReader(f);
    StringBuilder sb = new StringBuilder();
    while((len = fr.read(cbuf)) > -1){
        sb.append(cbuf, 0, len);
    }
    fr.close();
    
    Pattern p = Pattern.compile("/show/(\\S+?)\"");
    Matcher m = p.matcher(sb);
    while(m.find()){
        System.out.println("http://www.h2do.com/" + m.group(1));
    }
}

4、根据网络和服务器允许并发线程数手工拆分文件，detail1.txt,detail2.txt,...,detailn.txt

wget -b -t 3 -i detail1.txt

wget -b -t 3 -i detail2.txt

...

wget -b -t 3 -i detailn.txt

不足之处，当服务器返回错误500(Internal Server Error)时wget无法配置重试，-t应该是IO异常时重试。

ren * *.html 下载文件缺少扩展名，为全部文件添加扩展名；

move /Y * ../www 大量文件合并目录时，如果在资源管理器ctrl+x，ctrl+v需要一个统计重复文件个数并提示过程，直接命令行/Y能快速剪切到指定目录；

转载于:https://my.oschina.net/h2do/blog/473036