go爬虫：正则表达式及第三方库

最新推荐文章于 2024-06-25 17:20:53 发布

weixin_34393428

最新推荐文章于 2024-06-25 17:20:53 发布

阅读量687

点赞数

文章标签：爬虫 golang python

原文链接：https://my.oschina.net/kmwzjs/blog/668667

版权

为什么80%的码农都做不了架构师？>>>

一、正则表达式抓取

//比如找到所有的a链接
//注意匹配模式在最前面的 (?m)，加了多行匹配模式后，点号不能匹配换行符
pattern := `(?msU)<a.*href="(.*)".*>(.*)</a>`
reg = regexp.MustCompile(pattern)
match := reg.FindAllStringSubmatch(html, -1)  //FindAllStringSubmatch会将捕获到的放到子slice
if match != nil {
       fmt.Print("%#v", match)
}

go正则：http://studygolang.com/static/pkgdoc/pkg/regexp.htm

具体参考：https://github.com/google/re2/wiki/Syntax 这里可以看到很多字符含义：

`[[:alnum:]]`	alphanumeric (≡ `[0-9A-Za-z]`)
`[[:alpha:]]`	alphabetic (≡ `[A-Za-z]`)
`[[:ascii:]]`	ASCII (≡ `[\x00-\x7F]`)
`[[:blank:]]`	blank (≡ `[\t ]`)
`[[:cntrl:]]`	control (≡ `[\x00-\x1F\x7F]`)
`[[:digit:]]`	digits (≡ `[0-9]`)
`[[:graph:]]`	graphical (≡ `[!-~] == [A-Za-z0-9!"#$%&'()*+,\-./:;<=>?@[\\\]^_```{\|}~]`)
`[[:lower:]]`	lower case (≡ `[a-z]`)
`[[:print:]]`	printable (≡ `[ -~] == [ [:graph:]]`)
`[[:punct:]]`	punctuation (≡ `[!-/:-@[-```{-~]`)
`[[:space:]]`	whitespace (≡ `[\t\n\v\f\r ]`)
`[[:upper:]]`	upper case (≡ `[A-Z]`)
`[[:word:]]`	word characters (≡ `[0-9A-Za-z_]`)
`[[:xdigit:]]`	hex digit (≡ `[0-9A-Fa-f]`)

很多用法不支持，比如反向引用，断言什么的

正则表达式采用RE2语法（除了\c、\C），和Perl、Python等语言的正则基本一致。所以搜索看Perl或者Python看即可，比如修饰符的使用。

前面就交代了修饰符等等，其中U修饰符是开启非贪婪模式（即替换.*为.*?），表达式中只需要写 .* 即可

go的修饰符：

pattern := `(?Um)...`

     (re)           编号的捕获分组
        (?P<name>re)   命名并编号的捕获分组
        (?:re)         不捕获的分组
        (?flags)       设置当前所在分组的标志，不捕获也不匹配
        (?flags:re)    设置re段的标志，不捕获的分组

        I              大小写敏感（默认关闭）
        m              ^和$在匹配文本开始和结尾之外，还可以匹配行首和行尾（默认开启）
        s              让.可以匹配\n（默认关闭）
        U              非贪婪的：交换x*和x*?、x+和x+?……的含义（默认关闭）

正则基本知识：https://msdn.microsoft.com/zh-cn/library/ae5bf541(v=vs.90).aspx

http://louiszhai.github.io/2016/06/13/regexp/

非贪婪模式： .*?

匹配模式修饰符：一般4种模式，不区分大小写模式i，单行模式s，多行模式m，注释模式

注意点号无法匹配到换行符（就算是多行匹配也不行），解决方案就是在模式修饰符中再加入s(单行模式，将换行符视为普通字符，.号可以匹配到)，或者将 .*? 换成 [\s\S]*?

参考：http://m.oschina.net/blog/370714