Shell爬取知乎某问题下所有图片-CSDN博客

1. 分析网络请求

在Bash下使用curl分析网页源码，以这个问题 'https://www.zhihu.com/question/40753170' 为例
–user-agent “Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36” ‘https://www.zhihu.com/question/40753170’

(上一步得到的代码) | egrep -o 'data-original="¹' | egrep -o 'https://²' | sort | uniq
通过返回的内容可以看到只包含了前三个问题的url

使用chrome的debug分析网络请求发现除上面的内容外，其余的内容都是通过一个API接口实现的，并且图片是懒加载的，但是只要能获取图片的地址就能下载

而我们用到的变量仅有下面这两个
questions/${question_num}/answers,offset=23
当每次点击加载，都会获取20个回答

用curl测试，发现返回了错误，并不是debug中预想的那样
{"error": {"message": "u8bf7u6c42u5934u6216u53c2u6570u5c01u88c5u9519u8bef", "code": 100, "name": "AuthenticationInvalidRequest"}}

继续分析，在request header中又发现了这样的字段 authorization: oauth
添加上
curl –user-agent ‘XXX’ -H ‘authorization: oauth c3cef7c66a1843f8b3a9e6a1e3160e20 ‘ ‘api_url’
这次返回了正常的JSON格式的数据，思路就很清晰了

2. 编写代码

思路是这样通过修改offset，来获取所有的回答，并提取出HTML代码中的图片地址，用wget进行下载
要注意的问题:如果不控制线程，服务器配置又不高，很容易资源耗尽，弄挂服务器

#!/bin/bash
# download.sh
# 爬取知乎某问题下的所有图片
# 使用 ./download.SH https://www.zhihu.com/question/XXXXXX
if [ ! $1 ]
then
    echo 'need question url'
    exit 1
fi
# 获取问题num
ques_num=`echo $1 | egrep -o '[0-9]+'`

function gethtml()
{
    curl --user-agent 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36' -H 'authorization: oauth c3cef7c66a1843f8b3a9e6a1e3160e20' $1
}
gethtml $1 | egrep -o 'data-original="[^"]*' | egrep -o 'https://[^ ]*'| sort |uniq >> 
$$
.log

api="https://www.zhihu.com/api/v4/questions/${ques_num}/answers?sort_by=default&include=data%5B%2A%5D.is_normal%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Cmark_infos%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cupvoted_followees%3Bdata%5B%2A%5D.author.follower_count%2Cbadge%5B%3F%28type%3Dbest_answerer%29%5D.topics&limit=20&offset="

# 根据offset获取图片链接到
$$
.log
offset=3
total=`gethtml $api$offset | egrep -o '"totals": [0-9][^,]*' | egrep -o '[0-9]+'`
total=`expr $total + 20`
api_html=''
for((offset=3;offset<$total;offset+=20))
do
    api_html=`echo $api${offset}`
    gethtml $api_html| egrep -o 'data-original=\\"[^\]*' | egrep -o 'https://[^ ]*'|sort|uniq>>
$$
.log &
done
wait
echo 'get img url complete'

max_th=50 #指定最大线程数，防止过多进程过分消耗资源
# 线程控制
function getimg()
{
    if [[ $max_th -ge $((`ps | grep download.sh | wc -l` - 1)) ]] # 减一是前去‘grep fileme'的行
    then
        {       
               wget $url
        }&
    else
            getimg
    fi

}

# 下载图片
for url in `cat 
$$
.log`
do
    getimg
done
wait
echo 'downlad complete'

3. 展示图片

将下载下来的图片,写个脚本放进网页中，然后愉快的...(当然之前的html代码是要自己写的，要用lazy加载哦，因为图片太多...)

#!/bin/bash
#将图片链接写到网页中去
for name in `ls | egrep -o '[a-z0-9]+\.(jp|jpe|pn)g'`
do
        echo '<li><img originalsrc="'${name}'" /></li>'
done

echo '    </ul>
</div>    
</body>
</html>
'

" ↩
↩