正则表达式-网页爬虫筛选http链接

cat http | egrep -o http://([a-zA-Z].)+[a-zA-Z]+

([a-zA-Z].)+:这个用于筛选所有字母加最后一个“.”

[a-zA-Z]+:这个用于匹配链接的最后一个字符串

有想法的可以改进!!
!!!!大佬勿喷
grep -ohr -E “https?😕/[a-zA-Z0-9./_&=@$%?~#-]*” ./folder

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
requests和beautifulsoup都是Python中常用的网络爬虫库。正则表达式则是一种用于匹配、搜索、替换字符串的强大工具。这三者可以结合使用,以实现更加高效、灵活的网络爬取任务。 在requests中,可以使用正则表达式来提取页面中的特定信息。例如,假设我们要获取某个网站中所有图片的链接,可以使用requests发送请求,并使用正则表达式匹配页面中所有img标签的src属性: ``` import requests import re url = 'https://www.example.com' response = requests.get(url) pattern = re.compile('<img.*?src="(.*?)".*?>') img_urls = pattern.findall(response.text) ``` 在上述代码中,我们使用了re.compile()函数将正则表达式编译成一个正则对象,然后使用findall()函数在页面中查找所有匹配的字符串。 而在beautifulsoup中,可以使用正则表达式来进行更加复杂的页面解析。例如,假设我们要获取某个网站中所有包含class属性为"article"的div标签的内容,可以使用beautifulsoup提供的find_all()函数,并结合正则表达式进行筛选: ``` from bs4 import BeautifulSoup import requests import re url = 'https://www.example.com' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') pattern = re.compile('^article$') articles = soup.find_all('div', {'class': pattern}) ``` 在上述代码中,我们使用re.compile()函数将正则表达式编译成一个正则对象,然后将其作为find_all()函数的参数,用于筛选class属性为"article"的div标签。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值