shell抓取网页内容

最新推荐文章于 2024-03-14 15:03:58 发布
最新推荐文章于 2024-03-14 15:03:58 发布
阅读量4.9k 收藏 11
点赞数 1
分类专栏： 工具 文章标签： shell bash linux 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28626013/article/details/111568190
版权
本文介绍了如何使用shell脚本来抓取和下载网页中的PDF文件。首先，通过shell命令抓取网页内容，然后提取出数据请求链接，接着利用正则表达式匹配需要的PDF链接，去除重复行，并替换特定文本以便于下载。最终，通过shell脚本实现批量下载。
摘要由CSDN通过智能技术生成

使用shell抓取网页内容

最近需要下载网页中的所有pdf，做了一个shell脚来用来抓取网页所有的pdf链接。具体步骤如下

准备

抓取网页

链接：https://www.nexperia.cn/products/automotive-qualified-products-aec-q100-q101.html
在这里插入图片描述

抓取内容：数据手册下所有PDF文件，例如BZX884S_SER

 

获取抓取内容

由于抓取的内容是不是静态网页，而是请求返回，需要获取数据请求链接

  1. 通过F12打开浏览器开发者模式

  2. 点击Network

  3. 点击你需要请求的链接。例如我需要请求PDF列表，就点击下图这些页码去请求数据，我点了第1页
    在这里插入图片描述

  4. 结果如下图所示，框中是我需要的链接&#

最低0.47元/天 解锁文章
匆匆那年s
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
备份网站内容的shell脚本代码
09-15
本文将详细解析一个用于备份网站内容的shell脚本代码，帮助需要的朋友理解并应用到自己的服务器管理工作中。 首先，脚本以`#!/bin/bash`开头，表明这是一个使用Bash shell解释器执行的脚本。Bash是Linux系统中最...
Shell脚本实现获取网页快照并生成缩略图
09-15
主要介绍了Shell脚本实现获取网页快照并生成缩略图,本文获取网页快照使用phantomjs、生成缩略图使用ImageMagick,需要的朋友可以参考下
shell怎么读取网页内容
geng67q5h的专栏
11-02 1104
比如一个mrtg的网页。打开这个mrtg的url以后。会显示很多设备名。怎么提取出这些设备的名字
shell文件读取
想要上进的coder的博客
06-06 4269
shell文件处理
Shell 脚本批量下载网页图片
张芬奇的博客
08-26 763
在日常工作、生活中，可能需要从网站、文件中提取某类资源的 URL 并进行下载，并将它们批量下载到本地。如果手动操作，可能会非常耗时且繁琐，使用 shell 脚本可以轻松地自动化这个过程。本文将以百度图片网站首页为例，介绍如何用 Shell 脚本从网页中提取图片链接，并下载这些图片到指定的目录中。以上就是用 Shell 脚本批量下载网页中的图片的方法拙劣方法示例。这种方法可以应用于不同的网页和资源类型，只需要修改一些参数和正则表达式即可。
Linux 抓取网页实例（shell+awk）
yuanlanjun
06-05 948
上一篇博客讲了Linux抓取网页的方式，有curl和wget两种方式，这篇将重点讲Linux抓取网页的实例——抓取google play全球12国的游戏TOP排名 要抓取google play游戏排名网页，首先需要分析网页的特点和规律： 1、google play游戏排名网页，是一个就“总-分”形式，即一页网址显示若干排名（如24个），有若干个这样的网页组成全部游戏的总排名 2、每页网址中，点击每...
2023 Windows powershell 下载web网页资源文件方法
Woo_dy的博客
07-21 1590
有时候打开资源过大网页/下载数据集的时候会遇到一些问题，如（https://storage.googleapis.com/sfr-vision-language-research/BLIP/datasets/laion_synthetic_filtered_large.json）这个网页是salesforce blip的公开数据集，其json文件资源过大，缓存不下来，根据在清华源浏览时的经验，估计就算缓存下来也无法查看。
HtmlUnit设置代理并解析IFrame页面
医疗影像检索
03-06 8122
1、需求：支持代理设置访问，并采集网页下iframe框架内的页面内容 2、参考代码如下： package com; import java.io.FileInputStream; import org.apache.poi.hssf.usermodel.HSSFRow; import org.apache.poi.hssf.usermodel.HSSFSheet; import org.a
Ubuntu上，使用shell脚本实现鼠标自动点击，打开并设置桌面软件
热门推荐
BoCai-Tech 博客
04-18 1万+
[前言]在校园网内，打开电脑的第一件事就是连网了。我学校使用的连网客户端是iNode（H3C认证客户端）。为了连网方便，我将iNode的快捷方式放在Ubuntu系统的桌面上了（如下图）。但是，每次开机需要连网时，我需要打开软件，然后要选择不同的按钮进行单击，非常麻烦。本文通过xdotool鼠标控制工具和shell脚本实现仅仅一次双击就可以自动连网，过程中鼠标自动点击。准备工作iNodeClient...
一个下载网页图片的shell脚本
01-20
下面和大家分享下一个shell脚本写的图片抓取器。使用方法：复制以下代码，命名为img_downloader.sh。使用时在shell下输入 ./img_downloader.sh www.baidu.com -d images，该shell脚本就会把百度首页上的图片下下来了...
取网页内容
10-05
易语言取网页指定内容--源码！
用shell写一个脚本，执行时可以根据下载地址自动完成下载后，用sed批量替换下载文件中的内容...
weixin_42611310的博客
02-13 176
以下是一个在 shell 中实现下载并使用 sed 批量替换文件内容的脚本： #!/bin/bash # 获取下载地址 read -p "请输入下载地址：" url # 使用 wget 下载文件 wget "$url" # 获取文件名 filename=$(basename "$url") # 使用 sed 批量替换文件内容 read -p "请输入查找字符串：" search_strin...
【Selenium】获取当前页面所有可点击跳转的链接
最新发布
qq_48180611的博客
03-14 1072
使用Selenium一键式页面上的所有链接，是非常不现实的，需要人工辅助
shell小技巧（三十五）模拟爬虫获取页面中的文章链接
bigwood99的博客
04-03 448
以某博客https://blog.51cto.com/oldboy为目标进行抓取 为了稳定数据源，先使用curl将抓取目标页面存于本地 curl -shttps://blog.51cto.com/oldboy -o oldboy.html 代码： grep -A 5 -E "^.*<a href.*class=\"time fl\"" oldboy.html 总结： 基本...
使用Shell抓取网页特定数据，并进行文本处理
a96167653219的博客
03-13 543
【原始需求】 公司用户手册是SGML的源码，其中文档中存在一些SQL语句，当前想验证这些SQL是否可拷贝执行。 【对策】 使用手工拷贝验证，太慢了。 于是想抓取相关内容，然后直接使用工具进行执行，人为检查执行结果即可。 经分析，源码部分一般使用<programlisting> </programlisting>和<synopsis></...
shell 抓取网页解析网页 自动读取poj测试数据
小河的专栏
10-13 1182
#!/bin/bash file = '1011' wget http://poj.org/problem?id=1011 -O filename FILE_CONTENT=`cat filename` FILE_CONTENT=${FILE_CONTENT#*Sample Input} #去除'/home/admin/jobs/CnClickstat/DFSLoader/loader.cfg
Ubuntu爬取网页信息(shell/python爬虫)
小电车没有名字
02-01 585
Ubuntu爬取网页信息 shell爬虫 python爬虫
shell案例系列3-将多个文件写入到同一个文件
只是甲的博客
04-20 1553
文章目录一. 需求二. 解决方案 一. 需求 今天遇到一个问题，应用程序将每天的数据都导出成一个单独的csv，现在需要将这些文件导入到数据库中。 示例: callid_20210101.csv callid_20210102.csv callid_20210103.csv ...... callid_20211231.csv 二. 解决方案 首先我们要将所有的csv的数据都汇总到一个csv文件，然后将csv文件的数据同步到数据库中。 首先想到的是用正则，根据文件的日期，过滤掉其它文件 第二步打印文件名 第
shell命令curl抓取网页内容-下载xls文件
为无为，事无事，味无味。
04-15 4592
通过curl命令抓取网页内容，关键点如下： 1.curl要模拟浏览器，最好是有个代理，因为很多站点都会搞个反爬虫什么的。 2.我的需求很简单，就是在国家外汇管理局上下载各种货币对美元的汇率。 http://www.safe.gov.cn/wps/portal/sy/tjsj_dmzsl 3.主要命令：curl，grep，awk，xls2txt，msql(LOAD DATA )。 cu
shell脚本抓网页
09-01
通过使用Shell脚本抓取网页，可以使用curl命令来模拟HTTP请求并获取网页内容。在给定的引用中，展示了一个示例的Shell脚本，其中使用了curl命令来发送HTTP请求并将结果保存到日志文件中。 在这个示例中，脚本通过循环不断发送HTTP请求，并记录发送的次数和点赞的次数。通过修改curl命令中的参数，可以自定义HTTP请求的头信息、请求方法、数据等。在脚本中还使用了一些Shell语法来实现循环和变量的更新。 需要注意的是，这个示例仅供技术探讨使用，不应该被恶意应用。使用Shell脚本抓取网页需要遵守相关法律法规，并尊重网站的规则和隐私权。请确保获取网页内容的行为是合法和道德的。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [帮朋友刷赞——抓包并大批量使用shell脚本发送HTTP请求](https://blog.csdn.net/weixin_44757863/article/details/123582883)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值