一般情况下(utf-8编码)的go爬虫(1)

最新推荐文章于 2022-10-31 17:25:37 发布

旧时星空

最新推荐文章于 2022-10-31 17:25:37 发布

阅读量403

点赞数 1

文章标签： golang 爬虫

本文链接：https://blog.csdn.net/weixin_54147055/article/details/119900569

版权

本文介绍了一种使用Go语言进行网页爬虫的方法，包括通过http.Get获取网页资源，检查HTTP状态码，判断网页编码并进行解码。示例代码展示了如何使用bufio和charset库来确定及转换网页的编码方式，从而正确读取和打印UTF-8编码的网页内容。

摘要由CSDN通过智能技术生成

一般情况下的go爬虫

省略导包

utf-8编码的网页爬虫为例

1.get:向服务器请求资源地址，返回http页面的响应

2.判断response的type,若为200即可

3.通过ioutil.ReadAll()读取response Body

func main(){
	resp,err:=http.Get("https://www.qidian.com/")
	if err!=nil{
		panic(err)
	}
	defer resp.Body.Close()
	resp.StatusCode=100
	if resp.StatusCode!=http.StatusOK{
		fmt.Printf("Error status code:%d",resp.StatusCode)
	}
	result,err:=ioutil.ReadAll(resp.Body)
	if err!=nil{
		panic(err)
	}
	fmt.Printf("%s",result)
}

http包下的get获取特定url下的资源

func Get(url string) (resp *Response, err error) {
	return DefaultClient.Get(url)
}

若无响应则返回不为空的err.

判断网页编码方式在进行爬虫

首先通过一函数判断特定url网页的编码方式是utf-8或gbk等，再以此进行特定的爬虫

func determinEncoding(r * bufio.Reader) encoding.Encoding{
	bytes,err:=r.Peek(1024)//读取
	if err!=nil{
		log.Printf("fetch error:%v",err)
		return unicode.UTF8
	}
	e,_,_:=charset.DetermineEncoding(bytes,"")//判断编码方式
	return e
}

func main(){
	resp,err:=http.Get("https://www.qidian.com/")
	if err!=nil{
		panic(err)
	}
	defer resp.Body.Close()
	resp.StatusCode=100
	if resp.StatusCode!=http.StatusOK{
		fmt.Printf("Error status code:%d",resp.StatusCode)
	}
    bodyReader:=bufio.NewReader(resp.Body)//创建一个副本
    e:=determinEncoding(bodyReader)//判断编码方式
    utf8Reader:=transform.NewReader(bodyReader,e.newDecoder())//转换为对应编码方式
	result,err:=ioutil.ReadAll(utf8Reader)//解码获取页面html代码
	if err!=nil{
		panic(err)
	}
	fmt.Printf("%s",result)
}