把图片文件读成字符串_Linux Shell大师进化论-实战演练之批量抓取网页图片

本文介绍了如何使用Linux Shell脚本结合egrep和curl命令批量抓取网页中的图片。首先,讲解了egrep的基本用法,然后详细阐述了curl的功能和常用选项,如设置用户代理、处理cookie、输出到文件等。通过这两个工具,可以实现从指定网页批量下载图片,并通过ls-l查看抓取结果。最后,鼓励读者实践并交流相关经验。
摘要由CSDN通过智能技术生成
f572595ccb03bc301cb786721343ef86.png

这一期我们一步一步写一个Linux shell批量抓取网页图片的脚本,具体步骤如下:

目标:批量抓取网页图片

当浏览某个网页发现很多自己喜欢图片的时候,可以通过shell脚本批量抓取网页图片

预备知识:

egrep 语法

curl语法

Linux Shell脚本:

f76fdef9fb105ff998e0c8cae9ec0361.png

脚本执行结果:

bf5f8e5b4a115adcce725e64374a80c8.png

ls -l 查看抓取的图片:

daf618eaa5556ca6cc0b000020df89b3.png

重点语法:

egrep

egrep执行效果与"grep-E"相似,使用的语法及参数可参照grep指令,与grep的不同点在于解读字符串的方法。

语法:

egrep [范本模式] [文件或目录]

参数说明:

[范本模式] :查找的字符串规则。

[文件或目录] :查找的目标文件或目录。

curl

curl 是一个利用URL规则在命令行下工作的文件传输工具,可以说是一款很强大的http命令行工具。

语法:# curl [option] [url]

-A/--user-agent 设置用户代理发送给服务器

-b/--cookie cookie字符串或文件读取位置

-c/--cookie-jar 操作结束后把cookie写入到这个文件中

-C/--continue-at 断点续转

-D/--dump-header 把header信息写入到该文件中

-e/--referer 来源网址

-f/--fail 连接失败时不显示http错误

-o/--output 把输出写到该文件中

-O/--remote-name 把输出写到该文件中,保留远程文件的文件名

-r/--range 检索来自HTTP/1.1或FTP服务器字节范围

-s/--silent 静音模式。不输出任何东西

-T/--upload-file 上传文件

-u/--user 设置服务器的用户和密码

-w/--write-out [format] 什么输出完成后

-x/--proxy 在给定的端口上使用HTTP代理

-#/--progress-bar 进度条显示当前的传送状态

以上Linux shell批量抓取网页图片的脚本,你掌握了吗?欢迎@交流!

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值