一行shell代码进行爬虫,没想到。。。。

开始用数组来下载前25部电影,结果是ok的!


#!/bin/bash
movename=`curl https://movie.douban.com/top250 |grep '<img width="100"'|awk -F '"' '{print $4}'`
pictureurl=`curl https://movie.douban.com/top250 |grep '<img width="100"'|awk -F '"' '{print $6}'`
move=($movename)
picture=($pictureurl)
for(( i=0;i<${#move[@]};i++)) do
#${#array[@]}获取数组长度用于循环
    wget -O ${move[i]} ${picture[i]}

done


接着想用数组太shell的数组太low b了,就想着用一行shell代码下载豆瓣250电影剧照,图片根据电影名命名并打包。没想到。。。。。。

for i in `seq 0 249`;do wget -O `curl https://movie.douban.com/top250?start=$i |grep '<img width="100"'|awk -F '"' '{print $4}'|head -n 1` `curl https://movie.douban.com/top250?start=$i |grep '<img width="100"'|awk -F '"' '{print $6}'|head -n 1`;done; tar czvf move.tar *



被豆瓣的反爬虫机制制裁了。。。


评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值