go语言爬虫学习–正则表达式
使用正则表达式检验字符串是否匹配
直接上代码:
package main
import (
"fmt"
"regexp"
)
func main() {
str1 := "istohard@gmail.com"
//str2 := ".*@gmail.com" 匹配所有的
//str2 := "[0-9a-zA-Z]@gmail.com" //匹配的可以是数字也可以是小写字母和大写字母
str2 := "@gmail.com"
//解析正则表达式。这个函数简化了保存已编译正则表达式的全局变量的安全初始化
re := regexp.MustCompile(str2)
//找到后会返回找到的string
result := re.FindString(str1)
fmt.Println(result)
}
代码简单分析
先使用regexp.MustComppile函数将str2解析为正则表达式,然后使用FindString函数对str1进行查找。如果输出为空,则两个字符串不匹配,如果输出的字符为str2,则两个字符串匹配。
以下是对这两个函数的介绍:
MustCompile
func MustCompile(str string) *Regexp
MustCompile类似Compile但会在解析失败时panic,主要用于全局正则表达式变量的安全初始化。
FindString
func (re *Regexp) FindString(s string) string
Find返回保管正则表达式re在b中的最左侧的一个匹配结果的字符串。如果没有匹配到,会返回"";但如果正则表达式成功匹配了一个空字符串,也会返回""。如果需要区分这种情况,请使用FindStringIndex 或FindStringSubmatch。
使用正则表达式获取网页中属性相近的数据
package main
import (
"bufio"
"golang.org/x/net/html/charset"
"golang.org/x/text/encoding"
"golang.org/x/text/encoding/unicode"
"golang.org/x/text/transform"
"regexp"
"fmt"
"io/ioutil"
"log"
"net/http"
)
func main() {
//使用res存储网页信息
resp, err := http.Get("https://www.biqooge.com")
if err != nil {
fmt.Println(err)
}
//使用get后必须使用close关闭,
defer resp.Body.Close()
//判断网页是否响应成功,defer后面的语句不会马上调用, 而是延迟到函数结束时调用
//defer 语句正好是在函数退出时执行的语句,所以使用 defer 能非常方便地处理资源释放问题。
if resp.StatusCode != http.StatusOK {
fmt.Printf("Error status Code :%d", resp.StatusCode)
}
//获取响应体
bodyReader := bufio.NewReader(resp.Body)
//使用determiEncoding函数对获取的信息进行解析
e := determiEncoding(bodyReader)
utf8Reader := transform.NewReader(bodyReader,e.NewDecoder())
//读取并打印获取的信息
result, err := ioutil.ReadAll(utf8Reader)
if err != nil {
panic(err)
}
//fmt.Printf("%s", result)
parseContent(result)
}
//处理获取的数据
func determiEncoding (r * bufio.Reader) encoding.Encoding {//Encoding编码是一种字符集编码,可以在 UTF-8 和 UTF-8 之间进行转换
//获取数据,Peek返回输入流的下n个字节
bytes, err := r.Peek(1024)
if err != nil {
log.Printf("fetch error :%v", err)
return unicode.UTF8
}
//调用DEtermineEncoding函数,确定编码通过检查最多前 1024 个字节的内容和声明的内容类型来确定 HTML 文档的编码。
e,_, _:= charset.DetermineEncoding(bytes,"")
return e
}
//获取指定格式的数据并返回
func parseContent(content []byte){
re := regexp.MustCompile(`<a href="([^"]+)">([^"]+)</a>`)
//返回表达式的所有连续匹配的切片,match是切片
match := re.FindAllSubmatch(content,-1)
for _,m := range match{
fmt.Printf("%s--%s--%s\n",m[0],m[1],m[2])
}
}
前两个函数在之前的笔记中已经提到了,接下来一行一行地分析parseContent函数
第一行:
re := regexp.MustCompile(`<a href="([^"]+)">([^"]+)</a>`)
使用MustCompile函数设置需要获取的数据的正则表达式的格式
第二行:
match := re.FindAllSubmatch(content,-1)
使用FindAllSubmatch函数获取所有与正则表达式连续匹配的数据并存储在match中,match为切片
最后一步:
for _,m := range match{
fmt.Printf("%s--%s--%s\n",m[0],m[1],m[2])
}
使用range遍历match,打印所有匹配的数据
结果: