抓取历年天气

爬梯者

于 2014-11-29 14:05:14 发布

阅读量722

点赞数

分类专栏：编程实践文章标签： golang goquery 天气爬虫

本文链接：https://blog.csdn.net/g39game/article/details/41595357

版权

这篇博客展示了如何利用Goquery库抓取并存储历年天气信息。内容包括按省份组织的天气数据，最终存储为CSV文件。尽管日志库被移除，博主指出代码仅作为临时方案，可能存在不足。

摘要由CSDN通过智能技术生成

使用goquery抓取天气的demo。数据量有点多。目前按省份存储天气数据。存储到csv文件中。

package main

import (
	"code.google.com/p/mahonia"
	"encoding/csv"
	"fmt"
	"github.com/PuerkitoBio/goquery"
	"net/http"
	"os"
	"strings"
	"time"
)

var log = loger.Loger{
	Level: loger.DEBUG,
}

const (
	YEAR      = 2013
	SleepTime = 100 //毫秒
)

func main() {
	sc, cc := GetCity()
	var weatherInfoAll []*WeaterInfo
	for key, value := range sc {
		filePath := fmt.Sprintf("%d%s.csv", YEAR, key)
		_, err := os.Stat(filePath)
		if err == nil {
			continue
		}
		weatherInfoAll = make([]*WeaterInfo, 0, 100000)
		for _, city := range value {
			name := cc[city]
			log.Debug("get ", key, city)
			client := &http.Client{}
			weatherInfoYear := GetWeather(client, key, city