shell抓取网页内容

最新推荐文章于 2024-07-28 23:42:25 发布
最新推荐文章于 2024-07-28 23:42:25 发布
阅读量5k 收藏 11
点赞数 1
分类专栏： 工具 文章标签： shell bash linux 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28626013/article/details/111568190
版权
本文介绍了如何使用shell脚本来抓取和下载网页中的PDF文件。首先，通过shell命令抓取网页内容，然后提取出数据请求链接，接着利用正则表达式匹配需要的PDF链接，去除重复行，并替换特定文本以便于下载。最终，通过shell脚本实现批量下载。
摘要由CSDN通过智能技术生成

使用shell抓取网页内容

最近需要下载网页中的所有pdf，做了一个shell脚来用来抓取网页所有的pdf链接。具体步骤如下

准备

抓取网页

链接：https://www.nexperia.cn/products/automotive-qualified-products-aec-q100-q101.html
在这里插入图片描述

抓取内容：数据手册下所有PDF文件，例如BZX884S_SER

 

获取抓取内容

由于抓取的内容是不是静态网页，而是请求返回，需要获取数据请求链接

  1. 通过F12打开浏览器开发者模式

  2. 点击Network

  3. 点击你需要请求的链接。例如我需要请求PDF列表，就点击下图这些页码去请求数据，我点了第1页
    在这里插入图片描述

  4. 结果如下图所示，框中是我需要的链接，若出现太多链接找不到所需要的，可以重复步骤1

最低0.47元/天 解锁文章
匆匆那年s
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux 抓取网页实例（shell+awk）
dghggij的博客
10-29 2130
分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！                上一篇博客讲了Linu
linux 获取网址页面内容,shell实践--简单抓取网页内容
weixin_28674303的博客
05-05 1366
#!/bin/bashbase_path="https://testerhome.com/"user_path="ycwdaaaa/topics?page="rm suffix*rm -f ./htmldoc/*for i in $(seq 1 5)douser_page=${base_path}${user_path}${i}echo ${user_page}#echo "-----------...
Python爬虫入门教程！手把手教会你爬取网页数据_python爬取网页数据
05-06 880
在学习python中有任何困难不懂的可以微信扫描下方CSDN官方认证二维码加入python交流学习多多交流问题，互帮互助，这里有不错的学习教程和开发工具。👉[[CSDN大礼包：《python安装包&全套学习资料》免费分享]]安全链接，放心点击。
shell脚本抓取网页信息
weixin_30929295的博客
02-07 777
利用shell脚本分析网站数据 # define url time=$(date +%F) mtime=$(date +%T) file=/abc/shell/abc/abc_$time.log http=https://abc.com/abc/abc.do key='tender_sum' log_file=/abc/shell/abc/remind.log check_...
使用Shell抓取网页特定数据，并进行文本处理
a96167653219的博客
03-13 555
【原始需求】 公司用户手册是SGML的源码，其中文档中存在一些SQL语句，当前想验证这些SQL是否可拷贝执行。 【对策】 使用手工拷贝验证，太慢了。 于是想抓取相关内容，然后直接使用工具进行执行，人为检查执行结果即可。 经分析，源码部分一般使用<programlisting> </programlisting>和<synopsis></...
linux shell 抓取 网页 镜像,使用wget做网站镜像
weixin_35902873的博客
05-13 229
记得以前在网上看到一个好网站的时候，因为那时上网时间少，就想着把它整个抓下来，存到自己硬盘上，想什么时候看就什么时候看，那多爽。记忆中那时用的软件就是webzip了，但是这家伙是个共享版，如果你用的不是什么什么特殊版本的话，那么这个家伙是会有限制的，功能上的限制忘了，记得的是好像它会插广告在网页内容里面，这实在是极不爽的一件事。现在虽然上网的时候多了，要查资料的话也能随时上网查，看到好的站也能随时...
shell命令curl抓取网页内容-下载xls文件
为无为，事无事，味无味。
04-15 4616
通过curl命令抓取网页内容，关键点如下： 1.curl要模拟浏览器，最好是有个代理，因为很多站点都会搞个反爬虫什么的。 2.我的需求很简单，就是在国家外汇管理局上下载各种货币对美元的汇率。 http://www.safe.gov.cn/wps/portal/sy/tjsj_dmzsl 3.主要命令：curl，grep，awk，xls2txt，msql(LOAD DATA )。 cu
shell抓取网页内容--尚未完工
cmxy44715的博客
07-20 160
1 #!/bin/bash 2 #download blogs on csdn 3 #by iambefu 4 5 #first,download tab...
shell怎么读取网页内容
geng67q5h的专栏
11-02 1108
比如一个mrtg的网页。打开这个mrtg的url以后。会显示很多设备名。怎么提取出这些设备的名字
备份网站内容的shell脚本代码
09-15
本文将详细解析一个用于备份网站内容的shell脚本代码，帮助需要的朋友理解并应用到自己的服务器管理工作中。 首先，脚本以`#!/bin/bash`开头，表明这是一个使用Bash shell解释器执行的脚本。Bash是Linux系统中最...
Shell脚本实现获取网页快照并生成缩略图
09-15
在本场景中，我们讨论如何使用Shell脚本来获取网页快照并生成缩略图。这个过程分为两个主要步骤：首先使用PhantomJS获取网页快照，然后利用ImageMagick来创建缩略图。 PhantomJS是一个无头Webkit浏览器，它允许通过...
Shell脚本监控网站页面正常打开情况
09-15
Shell脚本监控网站页面正常打开情况是网络运维中常用的一种自动化监控手段，它能够实时检查网站的状态，并在出现问题时及时发出警报。本篇将详细解释如何使用Shell脚本来实现这个功能。 首先，脚本的核心在于使用`...
100个shell脚本合集
11-19
5. Nginx 访问日志分析脚本：通过分析Nginx的access.log，可以获取到网站访问情况，例如最频繁的URL、访问来源、错误页面等。这些数据对于优化网站性能和安全策略很有帮助。 6. 查看网卡实时流量脚本：通过shell...
【busybox记录】【shell指令】echo
44083579的博客
07-27 224
echo指令用法
docker部署mysql8.x版本，编写shell脚本自动部署安装mysql
qq_43700885的博客
07-23 642
*1.**先自行安装好docker环境，docker的镜像注册中心最好是国内的，例如执行一下命令直接修改docker配置，这里基本就按照成功了，直接输入docker查看日志命令查看容器启动情况。将下面的命令直接粘贴到文件install-mysql.sh。加载刚修改的配置文件并重新启动docker。**2.**创建mysql自动部署脚本文件。接下来直接执行脚本输入一下命令。出现下图红框标识就表示安装成功。
shell脚本与sed基本语法
最新发布
m0_74614835的博客
07-28 246
shell
linux系统巡检及shell脚本
qq_63926306的博客
07-27 883
egrep是grep的扩展，支持更多的re元字符， fgrep就是fixed grep或fast grep，它们把所有的字母都看作单词，也就是说，正则表达式中的元字符表示回其自身的字面意义，不再特殊。grep可用于shell脚本，因为grep通过返回一个状态值来说明搜索的状态，如果模板搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2。awk 是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华，如 C 语言等。s ：取代，可以直接进行取代的工作！
Rust：在Ubuntu22.04上安装
风静如云的博客
07-27 371
尝试后由于网络原因，无法顺利安装。然后编辑rust.sh文件。设置rust.sh为可执行。2.使用国内源进行安装。直接回车选择默认即可。
shell脚本抓网页
09-01
通过使用Shell脚本抓取网页，可以使用curl命令来模拟HTTP请求并获取网页内容。在给定的引用中，展示了一个示例的Shell脚本，其中使用了curl命令来发送HTTP请求并将结果保存到日志文件中。 在这个示例中，脚本通过循环不断发送HTTP请求，并记录发送的次数和点赞的次数。通过修改curl命令中的参数，可以自定义HTTP请求的头信息、请求方法、数据等。在脚本中还使用了一些Shell语法来实现循环和变量的更新。 需要注意的是，这个示例仅供技术探讨使用，不应该被恶意应用。使用Shell脚本抓取网页需要遵守相关法律法规，并尊重网站的规则和隐私权。请确保获取网页内容的行为是合法和道德的。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [帮朋友刷赞——抓包并大批量使用shell脚本发送HTTP请求](https://blog.csdn.net/weixin_44757863/article/details/123582883)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值