Java【代码分享 02】商品全部分类数据获取（建表语句+Jar包依赖+树结构封装+获取及解析源代码

CREATE TABLE “data_commodity_classification” (
“id” VARCHAR ( 32 ),
“parent_id” VARCHAR ( 32 ),
“level” int2,
“name” VARCHAR ( 64 ),
“merger_name” VARCHAR ( 255 )
);
– 注释
COMMENT ON TABLE “data_commodity_classification” IS ‘3级商品分类数据表’;
COMMENT ON COLUMN “data_commodity_classification”.“level” IS ‘类别等级’;
COMMENT ON COLUMN “data_commodity_classification”.“name” IS ‘商品分类’;
COMMENT ON COLUMN “data_commodity_classification”.“merger_name” IS ‘商品类别组合名’;

#### 2.2 Jar包依赖


`jsoup`是必须的，项目使用了`mybatis-plus`在保存对象时可以调用`.saveBatch()`方法，不是必须的。

org.jsoup jsoup 1.10.2 com.baomidou mybatis-plus-boot-starter 3.3.0

#### 2.3 对象封装


用了`lombok`为的是在构建对象时用`builder`来简化代码：

@Data
@EqualsAndHashCode(callSuper = false)
@Accessors(chain = true)
@ApiModel(value=“DataCommodityClassification对象”, description=“”)
@Builder
public class DataCommodityClassification implements Serializable {
private static final long serialVersionUID=1L;
private String id;
private String parentId;
@ApiModelProperty(value = “类别等级”)
private Integer level;
@ApiModelProperty(value = “商品分类”)
private String name;
@ApiModelProperty(value = “商品类别组合名”)
private String mergerName;
}

#### 2.4 爬虫源代码


html 页面标签：


![在这里插入图片描述](https://img-blog.csdnimg.cn/69bb3e049d98466d82a2d01e2bb72cdd.png#pic_center)


数据获取逻辑：清除历史数据 `>` 爬取最新数据并封装 `>` 保存最新数据。

public boolean getCommodityClassificationData() throws IOException {
	
	// 首先清除历史数据
    LambdaQueryWrapper<DataCommodityClassification> lambdaQuery = Wrappers.lambdaQuery(DataCommodityClassification.class);
    dataCommodityClassificationService.remove(lambdaQuery);

    // 处理树结构ID【随手就写了 不知道有没有更好的方法】
    AtomicInteger atomicIntegerOne = new AtomicInteger();
    AtomicInteger atomicIntegerTwo = new AtomicInteger();
    AtomicInteger atomicIntegerThree = new AtomicInteger();

    // 结果数据
    List<DataCommodityClassification> dataCommodityClassificationList = new ArrayList<>();
    
    // \*\*\*\*\*\*\*\*\*\*\*\*\* 以下是爬虫代码 \*\*\*\*\*\*\*\*\*\*\*\*\*
	// 地址信息
    String url = "https://www.jd.com/allSort.aspx";
    Document document = Jsoup.parse(new URL(url), 300000);
    // 获取包含所有分类数据的根元素
    Element root = document.getElementsByClass("category-items clearfix").get(0);
    // 获取一级分类标签数据
    Elements levelOne = root.getElementsByClass("category-item m");
    levelOne.forEach(one -> {
        String levelOneData = one.getElementsByClass("item-title").get(0).child(2).text();
        String oneId = "" + atomicIntegerOne.getAndIncrement();
        dataCommodityClassificationList.add(DataCommodityClassification.builder().id(oneId).parentId(null).level(0).name(levelOneData).build());
        // 获取二级分类标签数据
        Elements levelTwo = one.getElementsByClass("items").get(0).getElementsByTag("dl");
        levelTwo.forEach(two -> {
            String levelTwoData = two.getElementsByTag("dt").text();
            String twoId = oneId + atomicIntegerTwo.getAndIncrement();
            String mergerNameTwo = levelOneData + "," + levelTwoData;
            dataCommodityClassificationList.add(DataCommodityClassification.builder().id(twoId).parentId(oneId).level(1).name(levelTwoData).mergerName(mergerNameTwo).build());
            // 获取三级级分类标签数据
            Elements levelThree = two.getElementsByTag("dd").get(0).children();
            levelThree.forEach(three -> {
                // 获取三级分类信息
                String levelThreeData = three.text();
                String threeId = twoId + atomicIntegerThree.getAndIncrement();
                String mergerNameThree = mergerNameTwo + "," + levelThreeData;
                dataCommodityClassificationList.add(DataCommodityClassification.builder().id(threeId).parentId(twoId).level(2).name(levelThreeData).mergerName(mergerNameThree).build());
            });
        });
    });

    // 保存最新数据
    boolean isSaveSuccess = dataCommodityClassificationService.saveBatch(dataCommodityClassificationList);
    return isSaveSuccess;
}

### 3.结果



## 写在最后

**在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。**


需要完整版PDF学习资源私我



**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618540462)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**