使用golang抓取京东全部商品分类信息

pssmart

于 2016-05-26 11:52:36 发布

阅读量1.5k

点赞数

分类专栏： go 文章标签： golang 京东

本文链接：https://blog.csdn.net/pssmart/article/details/51505915

版权

该博客展示了一个使用Golang实现的程序，旨在抓取京东网站上的所有商品分类信息。通过正则表达式解析HTML内容，提取顶级、子级和详细分类的名称及链接，最终将数据结构化存储在自定义的Mall、Category、SubCategory和DetailCategory类型中。

摘要由CSDN通过智能技术生成

package main

import (
	//	"errors"
	"fmt"
	"io/ioutil"
	"net/http"
	"os"
	"regexp"
	"strings"
)

type Mall struct {
	name string
	cat  []*Catagory
}

type Catagory struct {
	id     int64
	name   string
	link   string
	subCat []*SubCatagory
}

type SubCatagory struct {
	id        int64
	name      string
	link      string
	detailCat []*DetailCatagory
}

type DetailCatagory struct {
	id    int64
	name  string
	link  string
	goods map[string]interface{}
}

var Jd = Mall{name: "Jd"}

var topCatagoryStart = regexp.MustCompile(`[[:space:]]*\<div[[:space:]]+class="category-item m"\>`)
var topCatagoryFetch = regexp.MustCompile(`[[:space:]]*.*\<span\>(?P<topC>.*)\</span\>`)
var topCatagoryEnd = regexp.MustCompile(`[[:space:]]*\</div\>`)
var subCatagoryFetch = regexp.MustCompile(``)

var detailCatagoryS