一、正则表达式抓取
//比如找到所有的a链接
//注意匹配模式在最前面的 (?m),加了多行匹配模式后,点号不能匹配换行符
pattern := `(?msU)<a.*href="(.*)".*>(.*)</a>`
reg = regexp.MustCompile(pattern)
match := reg.FindAllStringSubmatch(html, -1) //FindAllStringSubmatch会将捕获到的放到子slice
if match != nil {
fmt.Print("%#v", match)
}
go正则:http://studygolang.com/static/pkgdoc/pkg/regexp.htm
具体参考:https://github.com/google/re2/wiki/Syntax 这里可以看到很多字符含义:
[[:alnum:]] | alphanumeric (≡ [0-9A-Za-z] ) |
[[:alpha:]] | alphabetic (≡ [A-Za-z] ) |
[[:ascii:]] | ASCII (≡ [\x00-\x7F] ) |
[[:blank:]] | blank (≡ [\t ] ) |
[[:cntrl:]] | control (≡ [\x00-\x1F\x7F] ) |
[[:digit:]] | digits (≡ [0-9] ) |
[[:graph:]] | graphical (≡ [!-~] == [A-Za-z0-9!"#$%&'()*+,\-./:;<=>?@[\\\]^_ ` {|}~] ) |
[[:lower:]] | lower case (≡ [a-z] ) |
[[:print:]] | printable (≡ [ -~] == [ [:graph:]] ) |
[[:punct:]] | punctuation (≡ [!-/:-@[- ` {-~] ) |
[[:space:]] | whitespace (≡ [\t\n\v\f\r ] ) |
[[:upper:]] | upper case (≡ [A-Z] ) |
[[:word:]] | word characters (≡ [0-9A-Za-z_] ) |
[[:xdigit:]] | hex digit (≡ [0-9A-Fa-f] ) |
很多用法不支持,比如反向引用,断言什么的
正则表达式采用RE2语法(除了\c、\C),和Perl、Python等语言的正则基本一致。所以搜索看Perl或者Python看即可,比如修饰符的使用。
前面就交代了修饰符等等,其中U修饰符是开启非贪婪模式(即替换.*为.*?),表达式中只需要写 .* 即可
go的修饰符:
pattern := `(?Um)...`
(re) 编号的捕获分组 (?P<name>re) 命名并编号的捕获分组 (?:re) 不捕获的分组 (?flags) 设置当前所在分组的标志,不捕获也不匹配 (?flags:re) 设置re段的标志,不捕获的分组
I 大小写敏感(默认关闭) m ^和$在匹配文本开始和结尾之外,还可以匹配行首和行尾(默认开启) s 让.可以匹配\n(默认关闭) U 非贪婪的:交换x*和x*?、x+和x+?……的含义(默认关闭)
正则基本知识:https://msdn.microsoft.com/zh-cn/library/ae5bf541(v=vs.90).aspx
http://louiszhai.github.io/2016/06/13/regexp/
非贪婪模式: .*?
匹配模式修饰符:一般4种模式,不区分大小写模式i,单行模式s,多行模式m,注释模式
注意点号无法匹配到换行符(就算是多行匹配也不行),解决方案就是在模式修饰符中再加入s(单行模式,将换行符视为普通字符,.号可以匹配到),或者将 .*? 换成 [\s\S]*?
参考:http://m.oschina.net/blog/370714
二、第三方库
goquery,让go像jquery一样抓取网页:
https://github.com/PuerkitoBio/goquery