关于信息采集中用到的一些点滴

最新推荐文章于 2022-04-12 18:18:55 发布

weixin_34166472

最新推荐文章于 2022-04-12 18:18:55 发布

阅读量65

点赞数

在这里记录一下

使用如下的正则表达式来抽取一个网页下的所有链接，并

<a[^>]+href=["']?(?'Url'[^"'>]+)['"]?[^>]*>

测试字符串

采集网页中所有图片的正则表达式

((http(s)?://)?)+(((/?)+[\w-.]+(/))*)+[\w-./]+\.+(jpg|jpeg|png|ico|bmp|gif)

注意在正则中勾选case insensitive选项

测试字符串

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML>
<HEAD>
<TITLE> New Document </TITLE>
<META NAME="Generator" CONTENT="EditPlus">
<META NAME="Author" CONTENT="">
<META NAME="Keywords" CONTENT="">
<META NAME="Description" CONTENT="">
</HEAD>

<BODY>

<a href=http://www.sina.com.cn>2</a>
<a href=/aa/.aspx>1<a>
<img src="ddd.gif" />
</BODY>
</HTML>

还可以有这样的链接http:// news.bjut.edu.cn/./newscontent.jsp?p=s&articleID=6769

效果和下面的是一样的

http://news.bjut.edu.cn/newscontent.jsp?p=s&articleID=6769

关注博主即可阅读全文