shell 采集数据

最新推荐文章于 2022-11-18 09:29:01 发布

five-zh

最新推荐文章于 2022-11-18 09:29:01 发布

阅读量1.4k

点赞数 1

分类专栏： shell

本文链接：https://blog.csdn.net/tsxw24/article/details/9148009

版权

shell 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

使用一条命令抓取一本小说，努力两天，终于成功了

curl "http://www.23hh.com/book/1/1019/"|iconv -c -f gbk -t utf8 |sed 's/"/\n/g'|grep -P '^\d+\.html'|awk '{if(NR>0){print "http://www.23hh.com/book/1/1019/"$0}}'|while read l;do curl $l 2>/dev/null|iconv -c -fgbk -tutf8|sed -n -e '2p' -e'15p'|sed -e 's/<[^>]*>/\n/g' -e 's/&nbsp;/ /g';done > data.txt