Shell 爬虫

最新推荐文章于 2024-07-02 03:38:02 发布

Soundtrack9407

最新推荐文章于 2024-07-02 03:38:02 发布

阅读量3.8k

点赞数 3

分类专栏：捣鼓文章标签： Shell 爬虫

本文链接：https://blog.csdn.net/ke515041/article/details/80964330

版权

捣鼓专栏收录该内容

3 篇文章 0 订阅

订阅专栏

前段时间有位朋友对爬虫感兴趣，正好我之前也干过几个项目，顺手发一篇。

本文旨在使用Shell构建一个快速的小爬虫，分分钟上手
多快好省是主要目标；没有现成的轮子，那就建一个

工具一览

Name	Use
curl	裸数据
wget	下载器
awk	列文本处理
sed	行文本处理
seq	特定范围整数（页码）生成
grep	文本过滤
jq	json格式解析
iconv	字符编码转换
sort	排序工具
tac	反向输出（与cat相反）
wc	行统计

基本流程

与爬虫原理相同，下图仅代表作者的理解

案例

批量下载

前不久有学弟说想批量下载某网站资源：某法国网站里不知明的五线谱
使用迅雷批量下载失败

曲折

通过F12和Wireshark发现该网站加了一定的防爬措施，Referer + 302跳转
以前没碰到http 302跳转的情况，虽说加上Referer可以获取到目标资源了，但下载名不对，显示download?=10，于是乎先把整个列表名称抓下来，清洗，过滤，放另一个文本里。。。对的，你没猜错，下载的同时按列表里的重命名。
但是啊，又出现了重名问题，原来一个资源有多个不同的打包格式，名字却是一样的，这样搞确实很蛋疼。
那么Chrome下载的时候是怎么个情况呢?
情况是，这货居然能自动重命名，按以往的体验，Chrome自带的下载器只能算中规中矩，如此看来自动重命名是个基础功能，看看wget有没有可选参数可以支持"根据服务器的规定给下载的文件命名",
果然有，加上**–content-disposition**

最终代码

for i in `seq 150`; do
        wget -c --content-disposition --referer='http://freescores.free.fr/partitions-gratuites/partitions-pop-rock.php?lang=zh' 'http://freescores.free.fr/partitions-gratuites/download.php?id='$i''
done

额外收获

Linux文件批量重命名 rename

#将dir目录下面的所有文件名中的空格替换为下划线"_"
rename 's/ /_/g' dir/*
#反操作，下划线替换为空格
rename 's/_/ /g' dir/*

处理文件名中的空格

Linux行文本处理 sed

#空格转下划线
sed 's/[ ][ ]*/_/g'

零散的小说

有一次，看到一篇中意的小说，但是呢，目录掺杂了别的连载（报纸类），为了方便观看查阅（获得完整的目录及链接），弄了只爬虫

#!/bin/bash

for i in `seq 80`
do
echo 'Now page' $i
curl    -s 'http://www.dahuawang.com/dhserver/writer/List.asp?CNo=120301&Page='$i'' --compressed \
| iconv -f gb2312 -t utf-8 \
| sed -n '44,72p' \
| grep "活灵魂" >> list_novel
done

curl 获取网页代码
iconv 字符转换解决Linux下中文乱码问题
sed 将每页含有目录及链接的区域留下
grep 字段过滤（小说名）
重定向至文件

查字典

手动建字典-.-#///

#!/bin/bash

for i in `cat list_target`
do
	echo -n $i
	curl -s "https://dict.hjenglish.com/w/$i" \
	-H 'User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' \
	2>/dev/null \
	| sed -n '230,273p' \
	| sort -n \
	| tail -n 12 \
	| tac \
	| sed -n 4p
done