Bash 并行爬虫

Bash 并行下载脚本。1900 页,分 190 次下载完。

for i in {0..190} ; do
{
let start=$i*10
let end=$i*10+10
for ((page=$start;page<$end;page++)) do
{
  echo "down $page"
  curl "http://www.site.org/advice/index.asp?DjjIntPcnt=$page" -o src/$page.txt
} &
done
wait
echo "finish batch $i"
sleep 1
}
done

如果遇到字符集问题,可下载完成后转换:

find *.txt -exec sh -c "iconv -f GB18030 -t UTF8 {} > result/{}" \;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值