这段时间比较忙了,没啥空折腾golang。。。再加上前段业余时间基本都在改用python写的小东西,陆陆续续在调整和fix bug。。。
昨晚抽空又练习了一下golang的正则,其正则表达式的语法与perl和python是一样的。。。所以如果已经熟悉正则语法了,还是很容易上手的,
昨晚练习后,最后写了个小功能,去除网页的HTML等相关代码,费话不多说了,直接上码:
昨晚抽空又练习了一下golang的正则,其正则表达式的语法与perl和python是一样的。。。所以如果已经熟悉正则语法了,还是很容易上手的,
昨晚练习后,最后写了个小功能,去除网页的HTML等相关代码,费话不多说了,直接上码:
package main
import (
"fmt"
"io/ioutil"
"net/http"
"regexp"
"strings"
)
func main() {
resp, err := http.Get("http://www.baidu.com")
// resp, err := http.Get("http://www.163.com")
if err != nil {
fmt.Println("http get error.")
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
fmt.Println("http read error")
}
src := string(body)
//将HTML标签全转换成小写
re, _ := regexp.Compile("\\<[\\S\\s]+?\\>")
src = re.ReplaceAllStringFunc(src, strings.ToLower)
//去除STYLE
re, _ = regexp.Compile("\\<style[\\S\\s]+?\\</style\\>")
src = re.ReplaceAllString(src, "")
//去除SCRIPT
re, _ = regexp.Compile("\\<script[\\S\\s]+?\\</script\\>")
src = re.ReplaceAllString(src, "")
//去除所有尖括号内的HTML代码,并换成换行符
re, _ = regexp.Compile("\\<[\\S\\s]+?\\>")
src = re.ReplaceAllString(src, "\n")
//去除连续的换行符
re, _ = regexp.Compile("\\s{2,}")
src = re.ReplaceAllString(src, "\n")
fmt.Println(strings.TrimSpace(src))
}