golang:正则表达式匹配网页url_jmeter神操作Jmeter(十九)_ForEach控制器实现网页爬虫...

最新推荐文章于 2023-01-07 22:10:17 发布
最新推荐文章于 2023-01-07 22:10:17 发布
阅读量715 收藏
点赞数
文章标签： golang:正则表达式匹配网页url
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32660773/article/details/112098680
版权

一直以来，爬虫似乎都是写代码去实现的，今天像大家介绍一下Jmeter如何实现一个网页爬虫！

Jmeter的爬虫原理其实很简单，就是对网页提交一个请求，然后把返回的所有href提取出来，利用ForEach控制器去实现url遍历。这样解释是不是很清晰？下面就来简单介绍一下如何操作。

首先我们需要对网页提交一个请求，就拿腾讯新闻网举例子吧！我们像腾讯新闻网发起一个请求，观察一下返回值可以发现中间有很多href标签+文字标题的url

e41c216518085cab025e13fc0bf667aa.png
fd86d0268e46e661a0f2f96d31b3fcc2.png

我们现在需要把这些url提取出来，利用强大的正则表达式！记得匹配数字填-1，意思就是把所有合适的url都取出来

a target="_blank" class="linkto" href="http:// *(.*l)"

8d24296b0fb57ea7fee6f84d20b67ba5.png

加一个debug查看一下是否真的取出来了

43d034f1dc801bfaa0fdd48554ebf6cb.png

又或者我们在结果里面直接利用正则匹配一下，可以看到很多网页链接都被取出来了

41b5bff7ce2964569426bad10bb16df6.png

接下来我们需要动用到ForEach控制器了，利用这个控制器对所有取出来的url进行遍历触发。记得在控制器里面填入变量名称，也就是刚刚正则表达式里面的变量名

edd690c9d7b1203f6af57ef04030c483.png

接下来在ForEach控制器下面再添加一个http请求，利用它去执行请求触发

041a16b8ec378a43ec694b9efe443f51.png

下面我们可以观察结果了，见证奇迹的时候到了。观察结果我们发现所有匹配的url都被触发了！

c28604617259f322905d334f255205c5.png
biiiiiiiiq
关注
golang使用正则表达式解析网页
10-24
在本文中，将介绍如何使用Go语言（通常称为Golang）编写程序以使用正则表达式解析网页。Go语言以其简洁的语法和高效的性能被广泛应用于网络编程中。正则表达式是一种强大的文本处理工具，常用于匹配和操作字符串。 ...
golang:正则表达式匹配网页url_网络爬虫：3种网页抓取方法
weixin_39858245的博客
12-13 2296
3种抓取其中数据的方法。首先是正则表达式，然后是流行的BeautifulSoup模块，最后是强大的lxml模块。1　正则表达式如果你对正则表达式还不熟悉，或是需要一些提示，那么你可以查阅https://docs.python.org/2/howto/regex.html获得完整介绍。即使你使用过其他编程语言的正则表达式，我依然推荐你一步一步温习一下Python中正则表达式的写法。由于每章中都可能构...
go-正则匹配超链接
Batac的博客
11-21 1236
\s 表示:匹配任意空白字符，等价于[ \t\n\r\f] \S 表示:匹配任意非空字符 var ( //超链接 reSuperUrl = `<a[\s\S]+?href="(http[\s\S]+?)"` //以<a开头 [\s\S] \s匹配任意空白字符 \S匹配任意非空字符 +一次到多次 ?当匹配到后边的href的时候停止前面的匹配 //()分组 以http开头 匹配非空字符或者空字符任意一种 +一次或者多次 ?匹配到后边的"则停止匹配,...
GO 正则匹配URL是否合法
博士的BLOG
05-31 1961
package main import ( "fmt" "regexp" ) func main() { re := regexp.MustCompile("(http|https):\\/\\/[\\w\\-_]+(\\.[\\w\\-_]+)+([\\w\\-\\.,@?^=%&:/~\\+#]*[\\w\\-\\@?^=%&/~\\+#])?") urls := "http://bing.com" result := re.FindAllStringSubmatch(u.
golang 匹配 url_用Golang写爬虫(三) - 使用goquery
weixin_34731825的博客
12-04 619
原文地址: https://strconv.com/posts/web-crawler-exercise-3/在写爬虫的时候，想要对HTML内容进行选择和查找匹配时通常是不直接写正则表达式的：因为正则表达式可读性和可维护性比较差。用Python写爬虫这方面可选择的方案非常多了，其中有一个被开发者常用的库pyquery，而Golang也有对应的goquery，可以说goquery是jQuery的Go...
golang 正则匹配（更详细易懂 语法+示例）
热门推荐
Arlingtonroad的博客
08-18 1万+
1. Golang中的正则语法 1.1 用法 ------------------------------ 单一： . 匹配任意一个字符，如果设置 s = true，则可以匹配换行符 [字符类] 匹配“字符类”中的一个字符，“字符类”见后面的说明 [^字符类] 匹...
浅析golang 正则表达式
10-14
Go语言使用`regexp`包来处理正则表达式，可以编译正则表达式，然后使用编译后的对象执行匹配、查找等操作。`regexp`包中有一些函数允许用户检查字符串是否符合正则表达式模式，如`MatchString`函数可以检查整个字符...
Golang正则表达式：模式匹配的瑞士军刀
最新发布
08-06
Golang，通常被称为Go语言，是一种由谷歌开发的编程语言。它以简洁、高效、安全著称，并且非常适合构建大规模的分布式系统和微服务。Go语言的一些主要特点包括： 1. **简洁性**：Go语言的语法非常简单，易于学习。 ...
golang中文手册_golang中文手册_goapiCHM_golang中文手册.chm_
10-02
Go语言，又称Golang，是由Google开发的一种静态类型、编译型、并发型且具有垃圾回收功能的编程语言。它设计的目标是提高开发者的生产效率，同时保持系统级编程的性能。Go语言的设计受到了C、 Pascal、 Miranda和...
Golang包学习.zip_DEMO_HTSP_golang_golang 联合_police37w
07-13
2. **regexp** 包：Golang的正则表达式库，提供了`regexp.MustCompile()`来编译正则表达式，`MatchString()`用于测试字符串是否匹配模式，`FindString()`查找第一个匹配项，而`ReplaceAllString()`则进行替换操作。...
使用go 正则提取 文本内url ip 去重
u012307174的博客
01-07 691
使用go 正则提取 文本内url ip 去重
go --- 正则匹配根域名
my_miuye的博客
08-01 1925
  有些时候，需要提取域名的根域名，如： baidu.com             的根域名是baidu.com wenku.baidu.com  的根域名是baidu.com package main import ( "fmt" "github.com/prometheus/common/log" "regexp" ) func m
Golang标准库(Regexp)正则匹配
weixin_53970851的博客
09-24 2717
Golang标准库(Regexp)正则匹配 简介 regexp包实现了golang中正则表达式搜索，详细内容请见文档 https://studygolang.com/static/pkgdoc/pkg/regexp.htm 工具 1、正则表达在线测试 https://c.runoob.com/front-end/854/ 2、正则表达工具文档 https://www.runoob.com/regexp/regexp-syntax.html 常用库函数 1、func Compile func Compile(
Golang爬虫初探
Sentiment的博客
07-01 3579
Golang学到协程通信部分后感觉没有那么好理解了，学的初衷就是为了了解一下Go语言并通过ctf进行一个提升，所以以爬虫做个结尾先学到这里吧，后续用到了再回来补。
golang 正则匹配regexp接口实战学习
KingEasternSun的专栏
10-12 8442
总览如果不熟悉正则表达式的语法的话，可以执行下面命令：go doc regexp/syntax联系代码package mainimport ( "fmt" "regexp" )func expandTest() { pat := `(((abc.)def.)ghi)` reg := regexp.MustCompile(pat) fmt.Println(reg
golang正则使用总结
开心就好的专栏
08-25 7714
正则表达式的语法可以说基本和编程语言无关，大同小异，不过就是调用的方法不同而已。 以一个案例总结下golang的正则常用方法。 注： * 下面的regObj指regexp.Compile后的值，可理解为正则实例 * regexp.MatchString (测试是否匹配，类似js的regObj.test(str)方法) sourceStr := `my email is gerrylon@1...
golang通过正则表达式匹配找到sdp中m=后的端口号
06-08
在 Golang 中，您可以使用正则表达式来匹配 SDP 中的 m= 字段，并获取其中的端口号信息。以下是一个示例代码： ```go package main import ( "fmt" "regexp" ) func main() { // 定义一个正则表达式，用于匹配...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值