2021.12.20(第二周) 实习周记lzhuan

第二周 实习任务

1. 服装网站热榜爬虫，按照【爬虫库表结构】储存数据。

一、服装网站热榜爬虫

这次安排的任务使用Java做爬虫，由于没有接触过爬虫方面的知识先对爬虫做一些了解再进行任务。。。

1.1 使用jsoup

• 获取p标签中的内容
  

    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.14.2</version>
        </dependency>
    </dependencies>

public class reptile {
   

    public static void main(String[] args) {
   
        Document document = null;
        try {
   
            //连接目标站点，get静态html代码
            document = Jsoup.connect("https://www.runoob.com/js/js-tutorial.html").get();
            //获取所有的元素div
            Elements elements = document.select("div");
            //遍历div
            for (int i = 0; i < elements.size(); i<