c#封装了现有的实行爬虫的WebClient类:
一般代码写法:
WebClient webClient = new WebClient();//定义一个WebClient对象
webClient.Encoding = Encoding.UTF-8;
string url = “xx”;//爬取的网页地址
wecClient.DownloadString(url);//调用DownloadString()方法爬取,爬取结果为字符串
也可以采用WebClient对象的其他不同方法获取不同的爬取结果:
2.Regex类
Regex类的静态方法IsMatch()的第一个参数为被匹配的字符串,第二个参数为正则表达式,若被匹配的字符串满足正则表达式(前一个字符串包含后一个字符串,或满足以指定元素开头与结尾的正则表达式规则)该方法的返回值为true,否则为false。
爬虫实例:
例如:爬取下列字符串的网页:
网站源代码:
注意这里输出了爬取结果。
爬取的字符串html的值为网页源代码。
Regex对象的Matches()方法返回html中所有符合正则表达式规则的字串,即标签中属性href值。
Trim()方法删除字符串头部及尾部出现的空格。
实验结果生成的文件: